Время до первого визита бота: как посчитать по логу, чтобы не обмануть себя
Срок, через который поисковый бот пришёл на новую страницу, считают три числа: момент уведомления, момент первого настоящего запроса и правило для страниц, на которые бот так и не пришёл. Ошибки возникают в каждом из трёх мест: в нашем логе 21% строк с YandexBot оказались поддельными, а 56 из 65 настоящих запросов пришлись на один вечер.
| Что встречается в логе | Считать визитом? | Почему |
|---|---|---|
| GET или HEAD, 200, подтверждённый бот | да | бот получил страницу |
| 301 на адрес без слеша | нет | это переход на настоящий адрес; визит будет следующим запросом |
| 404, 5xx | нет, но записать | бот пришёл, страницы не получил; для допусков эксперимента важна доля 200 |
| User-Agent бота с непроверенного адреса | нет | подделка или служебный запрос |
| Запрос до момента уведомления | нет, страницу исключить | её нашли другим путём, сравнение теряет смысл |
- Зафиксируйте момент уведомления с часовым поясом: время ответа IndexNow или время, когда новая карта сайта стала доступна по адресу (
curl -sIпокажет заголовок Date). - Отфильтруйте поддельных ботов по обратному DNS: имя хоста оканчивается на
yandex.ru,yandex.netилиyandex.com, прямой запрос имени возвращает тот же IP. - Найдите первый запрос к адресу страницы (со слешем, без query) методом GET или HEAD с кодом 200 после момента уведомления. Запрос без слеша со 301 визитом не считайте.
- Вычтите момент уведомления из времени первого запроса: это часы до визита.
- Для страниц без визита запишите «нет визита за N часов», а не ноль и не пропуск: это цензурирование на горизонте N.
Что на чём держится
| Утверждение | Уровень | Основание |
|---|---|---|
| Проверка YandexBot: обратный DNS, имя на yandex.ru/yandex.net/yandex.com, прямой запрос возвращает тот же IP | A | Яндекс Вебмастер: как проверить, что робот принадлежит Яндексу |
| Лог 13–23.10: по User-Agent 82 строки YandexBot и 277 Googlebot, после проверки 65 и 241 | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Подтверждённые 65 запросов YandexBot: 39 адресов, 56 запросов 22.10 с 19:50 до 21:50 МСК | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Правила визита и цензурирования взяты из протокола нашего эксперимента | A | протокол эксперимента (метод, не факт о поисковике) |
| Визит бота не равен индексации | A | Яндекс Вебмастер: поддержка протокола IndexNow |
Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.