Какие коды ответа получают боты: разбор по логу на реальном сайте
В логе сервера видно то, чего нет в отчётах: какие коды получал каждый бот. На нашем сайте за 10 суток подтверждённый Googlebot получил 404 на 18 из 241 запроса (7,5%), а Яндекс и Bing ни одной 404. Для нас это не ошибка сайта: страниц с такими адресами у нас нет.
| Подтверждённый бот | Запросов | 200 | 404 | 301 |
|---|---|---|---|---|
| Googlebot | 241 | 221 | 18 | 2 |
| Bingbot | 90 | 89 | 0 | 1 |
| YandexBot | 65 | 64 | 0 | 1 |
tools.seoxl.ru, 13.10–23.10.2026, подтверждённые боты.
Как читать коды
- 404 на адреса, которых нет ни в sitemap, ни в ссылках, обычно безвредны: Google считает все 4xx, кроме 429, одним и тем же сигналом «контента нет».
- 404 на адреса из sitemap или внутренних ссылок нужно чинить: убрать из карты или вернуть страницу.
- 200 на пустую страницу хуже 404: это soft 404, Search Console показывает его как ошибку.
- 5xx и 429 снижают скорость обхода: Google при них сокращает сканирование.
# какие коды получил подтверждённый бот: подставьте свой путь к логу
awk '/Googlebot/ {print $9}' access.log | sort | uniq -c | sort -rnЧто на чём держится
| Утверждение | Уровень | Основание |
|---|---|---|
| Коды подтверждённых ботов за 13.10–23.10: Googlebot 241 (200: 221, 404: 18, 301: 2), Bingbot 90 (89, 0, 1), YandexBot 65 (64, 0, 1) | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| 404-адреса Googlebot не входят в sitemap и в сайте отсутствуют | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов; sitemap.xml в файлах сайта |
| Все 4xx, кроме 429, Google обрабатывает одинаково: контента нет; soft 404 это 2xx с видом ошибки | A | Google: коды ответа HTTP, soft 404 и редиректы |
| Google сокращает сканирование при 5xx и 429 | A | Google: управление краулинговым бюджетом |
| Googlebot берёт эти адреса из строк в скриптах страницы | E | предположение; код страниц не разбирали |
Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.