Как проверить robots.txt и sitemap онлайн бесплатно: узнать, открыта ли страница для Google и Яндекса, прочитать правила и замечания и понять, что исправить.
Для чего. Быстро понять, что сайт отдаёт поисковым роботам: файл robots.txt и карту sitemap. Файл robots.txt лежит в корне сайта (example.ru/robots.txt) и подсказывает роботам, какие разделы можно читать, а какие нет. Sitemap это карта сайта в формате XML со списком страниц, которые вы хотите показать поиску. Проверка показывает правила в читаемом виде, ошибки с советами и отвечает на вопрос «не закрыта ли эта страница от Google и Яндекса». Работает на странице Проверка robots.txt и sitemap без аккаунта и почты. Нужен только адрес сайта: доступы к сайту, Search Console и Вебмастеру не требуются.
example.ru. Если вставите адрес с https:// и путём, лишнее будет отрезано, а путь подставится во второе поле./catalog/ или полный адрес страницы того же сайта. Если оставить поле пустым, блок про страницу попросит ввести путь или адрес страницы.* и $.| Замечание | Что делать |
|---|---|
| Файла robots.txt нет (код 404) | Создайте файл в корне сайта: строка User-agent: * и строка Sitemap с адресом карты. |
| Ошибка сервера на robots.txt (код 5xx) | Найдите причину в логах и добейтесь ответа 200: при ошибке Google может на время прекратить обход сайта. |
| Файл не открывается или закрыт паролем (401, 403) | Откройте файл для всех без входа и без проверки браузера. |
Закрыт весь сайт (Disallow: / для всех) | Уберите правило, если сайт должен быть в поиске, и закрывайте только служебные разделы. |
| Пустой Disallow | Допустимо, но означает «закрывать нечего». Если нужно закрыть раздел, впишите путь после двоеточия. |
| Неизвестная директива или опечатка | Исправьте на User-agent, Disallow, Allow, Sitemap или Crawl-delay: остальные строки роботы пропускают. |
| Директива Host | Удалите строку: Яндекс перестал её учитывать, Google не знал. Зеркало задайте 301-редиректом и в Яндекс Вебмастере. |
| Sitemap без полного адреса | Впишите адрес целиком с https:// и доменом. |
| Нет строки Sitemap | Добавьте её, чтобы все поисковики находили карту сами. |
| Файл начинается с BOM | Сохраните файл в UTF-8 без BOM. |
Несколько групп для * | Объедините правила для всех роботов в одну группу. |
| Crawl-delay | Google директиву игнорирует: скорость обхода меняют в Search Console, для Яндекса задают в Вебмастере. |
| Файл больше 500 КиБ | Сократите: уберите повторы и устаревшие правила, используйте маски. |
| Карта не открывается | Проверьте адрес в строке Sitemap: нужен ответ 200 без пароля. |
| Карта не разбирается как XML | Пересоздайте карту генератором: частые причины в HTML вместо файла и лишних символах до тегов. |
| Больше 50 000 адресов или 50 МБ | Разделите карту на части и соберите через sitemap index. |
| Адреса чужого хоста, http вместо https, www и без www | Оставьте в карте только адреса основного варианта сайта по https. |
| Неверный lastmod или дата из будущего | Используйте формат 2026-10-07 и реальную дату изменения страницы. |
| Повторы адресов | Оставьте каждый адрес один раз. |
Замечание с кодом, которого нет в этой таблице, сервис показывает как есть, с текстом и номером строки, если он известен.
| Уровень | Лимит |
|---|---|
| Без регистрации | 20 проверок в час. |
| Бесплатный аккаунт | 100 проверок в час. |
| Платный тариф | 300 проверок в час. |
Есть также общий суточный потолок на весь сервис: если он исчерпан, страница так и скажет. Если вы вошли в аккаунт на этом же браузере, страница сама применит лимит вашего уровня и покажет, сколько проверок осталось. Если лимит исчерпан, она назовёт причину и время, когда можно повторить. Бесплатный аккаунт увеличивает лимит и включает ежедневную проверку с письмом при изменениях. Последний введённый адрес хранится только в вашем браузере.
Разовая проверка показывает состояние на сейчас. Чтобы узнавать о проблемах сразу, подключите сайт в кабинете: раздел «Здоровье» проверяет robots.txt и sitemap по расписанию, а алерты сообщат о закрытом robots.txt и других сбоях. После исправлений уведомите поисковики через IndexNow.
example.ru. Адреса по IP и с нестандартным портом не принимаются.example.ru/robots.txt в браузере. Если там тоже старая версия, очистите кеш сайта или CDN и проверьте снова.Сверено с кабинетом: 8 октября 2026. Заметили расхождение с тем, что видите в интерфейсе? Напишите на support@tools.seoxl.ru.