Краулинговый бюджет: когда им стоит заниматься, а когда нет
Если вам посоветовали «оптимизировать краулинговый бюджет», сначала проверьте масштаб. Google пишет, что его гайд нужен сайтам примерно от 1 млн страниц с еженедельными изменениями или от 10 000 страниц с ежедневными. У нашего сайта 116 страниц, это на два порядка меньше, и неравномерность обхода у нас, скорее всего, не про бюджет.
Три вопроса до всякой оптимизации
- Сколько у вас страниц и как часто они меняются? Меньше порогов Google: бюджет, скорее всего, не ваша проблема.
- Много ли страниц в статусе «Обнаружена, не проиндексирована»? Если большая доля, это признак из гайда Google.
- Что отвечает сервер боту? Google снижает скорость сканирования при медленных ответах, ошибках 5xx и коде 429, и повышает при стабильной быстрой работе.
| Бот | Адресов из sitemap (116) с ответом 200 за 10 суток | Доля |
|---|---|---|
| Googlebot | 94 | 81% |
| Bingbot | 48 | 41% |
| YandexBot | 35 (56 из 65 запросов пришлись на один вечер, 22.10) | 30% |
tools.seoxl.ru, 13.10–23.10.2026, подтверждённые боты. Окно короткое: часть адресов бот мог обойти раньше 13.10.
Боты обходят один и тот же сайт по-разному: Google за 10 суток получил ответ 200 на 81% карты, Яндекс на 30%. Объяснение через бюджет не нужно: сайт мал, а у Яндекса, судя по логу, визиты идут волнами. Это наше толкование, оно не доказано.
Как проверить у себя
- Выгрузите из лога запросы подтверждённого бота за 2–4 недели.
- Посчитайте, сколько разных адресов он обошёл, и сравните с числом страниц в sitemap.
- Посмотрите доли кодов ответа: много 404 и 5xx показывают, что бот тратит запросы впустую.
- Проверьте, нет ли среди запросов бесконечных адресов с параметрами или фильтрами.
Что на чём держится
| Утверждение | Уровень | Основание |
|---|---|---|
| Гайд Google по краулинговому бюджету: от 1 млн страниц с еженедельными изменениями, от 10 000 с ежедневными, или большая доля «Обнаружена»; цифры названы грубой оценкой | A | Google: управление краулинговым бюджетом |
| Google снижает лимит сканирования при замедлении, 5xx и 429 и повышает при стабильной работе | A | Google: управление краулинговым бюджетом |
| В sitemap tools.seoxl.ru 116 адресов; ответ 200 за 13.10–23.10 получили у Googlebot 94, у Bingbot 48, у YandexBot 35 | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов; sitemap.xml в файлах сайта на 23.10.2026 |
| 56 из 65 подтверждённых запросов YandexBot пришлись на вечер 22.10 | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Разницу охвата ботами объясняет не бюджет, а собственные ритмы ботов и возраст сайта | D | толкование редакции; не проверялось |
Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.