Ошибки в robots.txt, которые закрывают нужное: как не потерять раздел одной строкой

Одна строка Disallow может закрыть раздел целиком, и заметить это без мониторинга трудно. За неделю с небольшим на нашем сайте robots.txt менялся пять раз, с 6 по 13 октября, и служебные разделы то закрывались, то открывались. Ниже журнал и порядок проверки после каждой правки.

Менялись только служебные разделы. Но сам ритм правок, раз в сутки-двое, показывает, как легко разные версии файла сменяют друг друга. Причину мы не выясняли; вероятно, это выкладки с разными версиями файла (предположение).

Журнал изменений robots.txt в мониторинге SEOXL, проверка раз в сутки около 20:10.

Порядок проверки после каждой правки

1. Откройте /robots.txt и убедитесь в коде 200 и в нужном содержимом.
2. Проверьте на списке важных адресов, что ни один не закрыт.
3. Через сутки убедитесь, что мониторинг не зафиксировал новых правок.

import urllib.robotparser as rp
r = rp.RobotFileParser('https://example.com/robots.txt'); r.read()
for u in ['https://example.com/', 'https://example.com/blog/']:
    print(u, r.can_fetch('Googlebot', u))

Что на чём держится

Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.

Источники

• Google: как заблокировать индексирование (noindex)
• Яндекс Вебмастер: как скрыть от обхода страницы, которые не нужны в поиске

← Словарь терминов