Проверка robots.txt и sitemap без регистрации
Как проверить robots.txt и sitemap онлайн бесплатно: узнать, открыта ли страница для Google и Яндекса, прочитать правила и замечания и понять, что исправить.
Для чего. Быстро понять, что сайт отдаёт поисковым роботам: файл robots.txt и карту sitemap. Файл robots.txt лежит в корне сайта (example.ru/robots.txt) и подсказывает роботам, какие разделы можно читать, а какие нет. Sitemap: карта сайта в формате XML со списком страниц, которые вы хотите показать поиску. Проверка показывает правила в читаемом виде, ошибки с советами и отвечает на вопрос «не закрыта ли эта страница от Google и Яндекса». Работает на странице Проверка robots.txt и sitemap без аккаунта и почты. Нужен только адрес сайта: доступы к сайту, Search Console и Вебмастеру не требуются.
Шаги
- Введите адрес сайта. В поле «Адрес сайта» впишите домен, например
example.ru. Если вставите адрес сhttps://и путём, лишнее будет отрезано, а путь подставится во второе поле. - При необходимости укажите страницу. В поле «Проверить, открыта ли страница» впишите путь
/catalog/или полный адрес страницы того же сайта. Если оставить поле пустым, блок про страницу попросит ввести путь или адрес страницы. - Нажмите «Проверить». Сервис сам откроет robots.txt и карту сайта. Обычно это занимает несколько секунд, на медленных сайтах до минуты.
- Прочитайте результат. Сверху сводка по числу ошибок, предупреждений и заметок. Ниже блоки: robots.txt, замечания, открыта ли страница, sitemap.
- Исправьте замечания и проверьте снова. У каждого замечания есть строка «Что делать». После правки файла на сайте нажмите «Проверить» ещё раз.
Что показывает результат
- robots.txt. Адрес файла, код ответа, размер, найденные строки Sitemap и правила по группам: для каких роботов что закрыто (Disallow) и что открыто (Allow). Размер больше 500 КиБ помечается как проблема: Google читает только начало файла.
- Замечания. Список с уровнями: «Ошибка» ломает работу файла или закрывает сайт, «Предупреждение» может навредить, «Заметка» только информирует. Уровень указан словом, а не только цветом.
- Открыта ли страница. Таблица по Googlebot, YandexBot, Bingbot и всем остальным роботам: разрешено или закрыто и какое правило сработало. Действует самое длинное подходящее правило, а при равной длине побеждает Allow. Поддерживаются маски
*и$. - Sitemap. Адрес карты, код ответа, тип (карта страниц или индекс карт), число адресов, размер, замечания и пример из нескольких адресов с кодами ответа. В карте должны быть открытые адреса с кодом 200.
Расшифровка замечаний
| Замечание | Что делать |
|---|---|
| Файла robots.txt нет (код 404) | Создайте файл в корне сайта: строка User-agent: * и строка Sitemap с адресом карты. |
| Ошибка сервера на robots.txt (код 5xx) | Найдите причину в логах и добейтесь ответа 200: при ошибке Google может на время прекратить обход сайта. |
| Файл не открывается или закрыт паролем (401, 403) | Откройте файл для всех без входа и без проверки браузера. |
Закрыт весь сайт (Disallow: / для всех) | Уберите правило, если сайт должен быть в поиске, и закрывайте только служебные разделы. |
| Пустой Disallow | Допустимо, но означает «закрывать нечего». Если нужно закрыть раздел, впишите путь после двоеточия. |
| Неизвестная директива или опечатка | Исправьте на User-agent, Disallow, Allow, Sitemap или Crawl-delay: остальные строки роботы пропускают. |
| Директива Host | Удалите строку: Яндекс перестал её учитывать, Google не знал. Зеркало задайте 301-редиректом и в Яндекс Вебмастере. |
| Sitemap без полного адреса | Впишите адрес целиком с https:// и доменом. |
| Нет строки Sitemap | Добавьте её, чтобы все поисковики находили карту сами. |
| Файл начинается с BOM | Сохраните файл в UTF-8 без BOM. |
Несколько групп для * | Объедините правила для всех роботов в одну группу. |
| Crawl-delay | Google директиву игнорирует: скорость обхода меняют в Search Console, для Яндекса задают в Вебмастере. |
| Файл больше 500 КиБ | Сократите: уберите повторы и устаревшие правила, используйте маски. |
| Карта не открывается | Проверьте адрес в строке Sitemap: нужен ответ 200 без пароля. |
| Карта не разбирается как XML | Пересоздайте карту генератором: частые причины в HTML вместо файла и лишних символах до тегов. |
| Больше 50 000 адресов или 50 МБ | Разделите карту на части и соберите через sitemap index. |
| Адреса чужого хоста, http вместо https, www и без www | Оставьте в карте только адреса основного варианта сайта по https. |
| Неверный lastmod или дата из будущего | Используйте формат 2026-10-07 и реальную дату изменения страницы. |
| Повторы адресов | Оставьте каждый адрес один раз. |
Замечание с кодом, которого нет в этой таблице, сервис показывает как есть, с текстом и номером строки, если он известен.
Лимиты
| Уровень | Лимит |
|---|---|
| Без регистрации | 20 проверок в час. |
| Бесплатный аккаунт | 100 проверок в час. |
| Платный тариф | 300 проверок в час. |
Есть также общий суточный потолок на весь сервис: если он исчерпан, страница так и скажет. Если вы вошли в аккаунт на этом же браузере, страница сама применит лимит вашего уровня и покажет, сколько проверок осталось. Если лимит исчерпан, она назовёт причину и время, когда можно повторить. Бесплатный аккаунт увеличивает лимит и включает ежедневную проверку с письмом при изменениях. Последний введённый адрес хранится только в вашем браузере.
Следить каждый день
Разовая проверка показывает состояние на сейчас. Чтобы узнавать о проблемах сразу, подключите сайт в кабинете: раздел «Здоровье» проверяет robots.txt и sitemap по расписанию, а алерты сообщат о закрытом robots.txt и других сбоях. После исправлений уведомите поисковики через IndexNow.
Если не получилось
- «Введите адрес сайта». Нужен домен вида
example.ru. Адреса по IP и с нестандартным портом не принимаются. - «Страница должна быть с того же сайта». Адрес во втором поле должен быть на том же домене, с тем же www или без него.
- Сайт не открылся. Проверьте, что домен доступен из интернета, а защита от ботов или файрвол не блокирует запросы.
- В браузере сайт открывается, а проверка пишет про ошибку или код 401, 403, 5xx. Скорее всего, защита от ботов или файрвол режет запросы нашего сервера, как и запросы поисковых роботов. Это стоит исправить: роботы тоже могут не получить файл.
- Файл robots.txt вы уже исправили, а проверка показывает старый. Откройте
example.ru/robots.txtв браузере. Если там тоже старая версия, очистите кеш сайта или CDN и проверьте снова. - Написано «Файла robots.txt нет (код 404)». Это не сбой проверки: файла на сайте действительно нет. Создайте его по подсказке в таблице замечаний.
- Страница «Разрешено», а в поиске её нет. robots.txt разрешает обход, но причина может быть в noindex, canonical или ответе сервера. Проверьте страницу в «Как страницу видит робот».
- Лимит исчерпан. Подождите время, которое покажет страница, или зарегистрируйтесь: кабинет проверяет сайт автоматически.
- Сервис временно недоступен. Повторите через несколько минут, введённый адрес сохранится.
Что дальше
Читайте также
Ещё в разделе «Инструменты»
- Каталог инструментов и суточные лимиты
- Как читать аудит сайта
- Аудит сайта: параметры, отчёт и лимиты
- Как работает GEO: видимость бренда в нейросетях
- GEO: мастер, расписание и лимиты
- Ускоренная индексация через Google Indexing API
- CrUX и Core Web Vitals
- История запусков
- Как настроить IndexNow
- IndexNow: ключ, карта сайта и фильтры
- Как страницу видит робот: проверка без регистрации
- Core Web Vitals любого сайта: проверка без регистрации
- Как генерировать тексты по таблице
- Генерация текстов: режимы, лимиты и ошибки
- Как посмотреть страницу глазами поисковика
- Выгрузка HTML: что внутри архива и лимиты
- Как настроить мониторинг позиций в кабинете
Сверено с кабинетом: 8 октября 2026. Заметили расхождение с тем, что видите в интерфейсе? Напишите на support@tools.seoxl.ru.