Справка · Инструменты

Как страницу видит робот: проверка без регистрации

Как бесплатно проверить, что получают Googlebot, YandexBot и браузер: код ответа, редиректы, title, canonical, noindex, признаки клоакинга и что делать с замечаниями.

Для чего. Узнать, что на самом деле получают поисковые роботы, когда открывают вашу страницу. Проверка загружает адрес тремя способами, как Googlebot, как YandexBot и как обычный браузер, и показывает код ответа, цепочку редиректов, главные теги страницы и расхождения между клиентами. Это помогает найти случайный noindex, ошибки сервера, лишние редиректы, страницы, которые строятся скриптом, и подмену содержимого для ботов. Регистрация не нужна, доступы к сайту, Search Console и Вебмастеру тоже.

Короткий словарь. Googlebot и YandexBot это поисковые роботы Google и Яндекса. Title это заголовок страницы в результатах поиска. Canonical это тег, который называет главный адрес страницы. Noindex это запрет добавлять страницу в поиск. Клоакинг это когда роботам показывают одно содержимое, а людям другое.

Шаги

  1. Введите адрес страницы. Вставьте полный адрес, например https://example.ru/catalog/. Если не написать https://, он подставится сам. Проверяется одна страница, а не весь сайт.
  2. Нажмите «Проверить». Сервис откроет страницу три раза: под видом Googlebot, YandexBot и обычного браузера. Обычно это занимает несколько секунд, на медленных сайтах до минуты.
  3. Посмотрите вердикт. Сверху стоит итог словами: «Всё в порядке», «Есть предупреждения» или «Есть ошибки», а под ним число ошибок, предупреждений и заметок.
  4. Просмотрите цепочку редиректов и карточки клиентов. Видно, через какие адреса идёт робот и что он находит на итоговой странице.
  5. Сравните ботов и браузер, прочитайте замечания. У каждого замечания есть строка «Что делать». После правок на сайте нажмите «Проверить» ещё раз.

Что означает вердикт. «Есть ошибки»: страница может не попасть в поиск или отдаётся неверно, исправляйте в первую очередь. «Есть предупреждения»: страница работает, но есть что улучшить. «Всё в порядке»: проблем в этих проверках нет, но это не гарантия индексации.

Что показывает результат

  • Сводка. Вердикт, число замечаний по уровням и итоговый адрес, на котором оказался робот.
  • Цепочка редиректов. Каждый шаг с кодом ответа, адресом, адресом перехода и временем. Хорошо, когда переход один или их нет. Длинная цепочка и цикл подсвечены отдельно.
  • Googlebot, YandexBot и «Браузер». Для каждого: код ответа и время, итоговый адрес, title, h1, description, canonical, meta robots, X-Robots-Tag, число слов, типы разметки JSON-LD, закрыта ли страница в robots.txt, язык и размер. Если в теле страницы только контейнер, об этом есть пометка.
  • Сравнение ботов и браузера. Совпадают ли код ответа, итоговый адрес, заголовок и canonical, и насколько отличается текст в процентах. Если текст отличается больше чем на 30%, страница помечается как подозрительная на клоакинг.
  • Замечания. Список по уровням: «Ошибка», «Предупреждение», «Заметка». Уровень написан словом и подсвечен цветом.
Запрос идёт с нашего сервера, а не с адреса настоящего Googlebot или YandexBot: мы лишь подставляем их User-Agent. Часть сайтов отличает ботов по IP и отдаёт им другое, этого здесь не будет видно. Проверка не исполняет JavaScript, она показывает ответ до работы скриптов.

Расшифровка замечаний

ЗамечаниеЧто делать
Страница отвечает ошибкой (http_error_status)Для 404 и 410 верните страницу или настройте 301 на актуальный адрес, для 5xx найдите причину в логах. Если у ботов и браузера ответы разные, проверьте защиту от ботов.
Длинная цепочка редиректов (redirect_chain_long)Настройте один 301 сразу на итоговый адрес, в ссылках и sitemap указывайте итоговый адрес.
Цикл редиректов (redirect_loop)Найдите конфликтующие правила редиректов в сервере, CMS или плагине.
Редирект на http (redirect_to_http)Настройте переход на https: итоговой должна быть защищённая версия.
Noindex в заголовке (noindex_header)Уберите X-Robots-Tag: noindex в настройках сервера, если страница нужна в поиске.
Noindex в мета-теге (noindex_meta)Уберите noindex из метатега robots и запросите переобход.
Nofollow в мета-теге (nofollow_meta)Уберите nofollow, если робот должен идти по ссылкам страницы.
Canonical на другой адрес (canonical_other_url)Оставьте, если страница дубль, иначе пропишите canonical на саму страницу.
Нет canonical (canonical_missing)Добавьте тег link с rel=canonical и полным адресом страницы.
Нет title (title_missing)Добавьте уникальный title с главным запросом страницы.
Слишком длинный title (title_long)Сократите до 55-65 знаков, главное поставьте в начало.
Несколько title (title_multiple)Оставьте один title в head, лишние уберите из шаблона и плагинов.
Несколько description (description_multiple)Оставьте одно описание, второе часто добавляет SEO-плагин.
Нет h1 (h1_missing)Добавьте один заголовок h1 с темой страницы.
Несколько h1 (h1_multiple)Оставьте один h1, остальные сделайте h2 и ниже.
Нет description (description_missing)Напишите описание на 70-160 знаков для сниппета.
Страница строится скриптом (js_only_suspected)Отдавайте основной текст в HTML: серверный рендеринг, предрендер или статическая генерация.
Закрыто в robots.txt (blocked_by_robots)Откройте страницу для робота, правило покажет проверка robots.txt.
Ботам отдаётся другое (differs_by_agent)Проверьте защиту от ботов, геотаргетинг и подмену содержимого по User-Agent.
Подозрение на мягкую 404 (soft_404_suspected)Верните настоящий 404 или 410, либо наполните страницу.
Медленный ответ (slow_response)Проверьте хостинг, включите кеш, найдите тяжёлые запросы к базе.
Нет hreflang на себя (hreflang_no_self)Добавьте запись со своим языком и адресом, версии должны ссылаться друг на друга.
Нет атрибута lang (lang_missing)Добавьте язык страницы в тег html, например lang="ru".
Размер больше лимита (size_over_limit)Вынесите скрипты и стили в файлы, уберите лишнюю разметку: поисковики читают ограниченный объём.

Замечание с кодом, которого нет в таблице, страница показывает как есть, с текстом и кодом.

Лимиты

УровеньЛимит
Без регистрации15 проверок в час и 30 проверок в сутки на один сайт.
Бесплатный аккаунт60 проверок в час и 100 проверок в сутки на один сайт.
Платный тариф200 проверок в час и 200 проверок в сутки на один сайт.

Есть также общий суточный потолок на весь сервис: если он исчерпан, страница так и скажет. Если вы вошли в аккаунт на этом же браузере, страница сама применит лимит вашего уровня и покажет, сколько проверок осталось. Если лимит исчерпан, она назовёт причину (по адресу, по сайту или общий) и время, когда можно повторить. Бесплатный аккаунт увеличивает лимит и включает ежедневную проверку с письмом при изменениях. Последний введённый адрес хранится только в вашем браузере.

Следить каждый день

Разовая проверка показывает состояние на сейчас. Чтобы узнавать о проблемах сразу, подключите сайт в кабинете: раздел «Здоровье» проверяет важные страницы по расписанию, а оповещения сообщат, если страница стала отвечать ошибкой или закрылась от индексации. Как выглядит страница в HTML для робота, можно скачать в HTML-экспорте.

Если не получилось

  • «Введите адрес страницы». Нужен адрес с доменом, например https://example.ru/page/. Адреса по IP, с логином и паролем и не http/https не принимаются.
  • Сайт не открылся. Проверьте, что страница доступна из интернета без пароля, а защита от ботов или файрвол не блокирует запросы с нашего сервера.
  • Все три клиента получили ошибку, а в браузере страница открывается. Скорее всего, запросы с нашего сервера блокирует защита от ботов или файрвол. Разрешите их или проверьте страницу вручную другим способом, например через HTML-экспорт.
  • Страница строится скриптом, и текста нет. Проверка не исполняет JavaScript, поэтому видит ответ до работы скриптов. Если замечание js_only_suspected появилось, а в браузере текст есть, роботу нужно отдавать текст в HTML.
  • Нужно проверить не одну страницу, а весь сайт. Здесь проверяется один адрес. Для сайта целиком используйте аудит в кабинете и проверку robots.txt.
  • Ответы у ботов и браузера разные, а на сайте всё хорошо. Скорее всего, защита от ботов режет запросы по User-Agent. Посмотрите настройки файрвола и CDN.
  • Лимит исчерпан. Подождите время, которое покажет страница, или зарегистрируйтесь: кабинет проверяет страницы автоматически.
  • Сервис временно недоступен. Повторите через несколько минут, введённый адрес сохранится.

Ещё в разделе «Инструменты»

Сверено с кабинетом: 8 октября 2026. Заметили расхождение с тем, что видите в интерфейсе? Напишите на support@tools.seoxl.ru.