Как страницу видит робот: проверка без регистрации
Как бесплатно проверить, что получают Googlebot, YandexBot и браузер: код ответа, редиректы, title, canonical, noindex, признаки клоакинга и что делать с замечаниями.
Для чего. Узнать, что на самом деле получают поисковые роботы, когда открывают вашу страницу. Проверка загружает адрес тремя способами, как Googlebot, как YandexBot и как обычный браузер, и показывает код ответа, цепочку редиректов, главные теги страницы и расхождения между клиентами. Это помогает найти случайный noindex, ошибки сервера, лишние редиректы, страницы, которые строятся скриптом, и подмену содержимого для ботов. Регистрация не нужна, доступы к сайту, Search Console и Вебмастеру тоже.
Короткий словарь. Googlebot и YandexBot: поисковые роботы Google и Яндекса. Title: заголовок страницы в результатах поиска. Canonical: тег, который называет главный адрес страницы. Noindex: запрет добавлять страницу в поиск. Клоакинг: когда роботам показывают одно содержимое, а людям другое.
Шаги
- Введите адрес страницы. Вставьте полный адрес, например
https://example.ru/catalog/. Если не написатьhttps://, он подставится сам. Проверяется одна страница, а не весь сайт. - Нажмите «Проверить». Сервис откроет страницу три раза: под видом Googlebot, YandexBot и обычного браузера. Обычно это занимает несколько секунд, на медленных сайтах до минуты.
- Посмотрите вердикт. Сверху стоит итог словами: «Всё в порядке», «Есть предупреждения» или «Есть ошибки», а под ним число ошибок, предупреждений и заметок.
- Просмотрите цепочку редиректов и карточки клиентов. Видно, через какие адреса идёт робот и что он находит на итоговой странице.
- Сравните ботов и браузер, прочитайте замечания. У каждого замечания есть строка «Что делать». После правок на сайте нажмите «Проверить» ещё раз.
Что означает вердикт. «Есть ошибки»: страница может не попасть в поиск или отдаётся неверно, исправляйте в первую очередь. «Есть предупреждения»: страница работает, но есть что улучшить. «Всё в порядке»: проблем в этих проверках нет, но это не гарантия индексации.
Что показывает результат
- Сводка. Вердикт, число замечаний по уровням и итоговый адрес, на котором оказался робот.
- Цепочка редиректов. Каждый шаг с кодом ответа, адресом, адресом перехода и временем. Хорошо, когда переход один или их нет. Длинная цепочка и цикл подсвечены отдельно.
- Googlebot, YandexBot и «Браузер». Для каждого: код ответа и время, итоговый адрес, title, h1, description, canonical, meta robots, X-Robots-Tag, число слов, типы разметки JSON-LD, закрыта ли страница в robots.txt, язык и размер. Если в теле страницы только контейнер, об этом есть пометка.
- Сравнение ботов и браузера. Совпадают ли код ответа, итоговый адрес, заголовок и canonical, и насколько отличается текст в процентах. Если текст отличается больше чем на 30%, страница помечается как подозрительная на клоакинг.
- Замечания. Список по уровням: «Ошибка», «Предупреждение», «Заметка». Уровень написан словом и подсвечен цветом.
Расшифровка замечаний
| Замечание | Что делать |
|---|---|
Страница отвечает ошибкой (http_error_status) | Для 404 и 410 верните страницу или настройте 301 на актуальный адрес, для 5xx найдите причину в логах. Если у ботов и браузера ответы разные, проверьте защиту от ботов. |
Длинная цепочка редиректов (redirect_chain_long) | Настройте один 301 сразу на итоговый адрес, в ссылках и sitemap указывайте итоговый адрес. |
Цикл редиректов (redirect_loop) | Найдите конфликтующие правила редиректов в сервере, CMS или плагине. |
Редирект на http (redirect_to_http) | Настройте переход на https: итоговой должна быть защищённая версия. |
Noindex в заголовке (noindex_header) | Уберите X-Robots-Tag: noindex в настройках сервера, если страница нужна в поиске. |
Noindex в мета-теге (noindex_meta) | Уберите noindex из метатега robots и запросите переобход. |
Nofollow в мета-теге (nofollow_meta) | Уберите nofollow, если робот должен идти по ссылкам страницы. |
Canonical на другой адрес (canonical_other_url) | Оставьте, если страница дубль, иначе пропишите canonical на саму страницу. |
Нет canonical (canonical_missing) | Добавьте тег link с rel=canonical и полным адресом страницы. |
Нет title (title_missing) | Добавьте уникальный title с главным запросом страницы. |
Слишком длинный title (title_long) | Сократите до 55–65 знаков, главное поставьте в начало. |
Несколько title (title_multiple) | Оставьте один title в head, лишние уберите из шаблона и плагинов. |
Несколько description (description_multiple) | Оставьте одно описание, второе часто добавляет SEO-плагин. |
Нет h1 (h1_missing) | Добавьте один заголовок h1 с темой страницы. |
Несколько h1 (h1_multiple) | Оставьте один h1, остальные сделайте h2 и ниже. |
Нет description (description_missing) | Напишите описание на 70–160 знаков для сниппета. |
Страница строится скриптом (js_only_suspected) | Отдавайте основной текст в HTML: серверный рендеринг, предрендер или статическая генерация. |
Закрыто в robots.txt (blocked_by_robots) | Откройте страницу для робота, правило покажет проверка robots.txt. |
Ботам отдаётся другое (differs_by_agent) | Проверьте защиту от ботов, геотаргетинг и подмену содержимого по User-Agent. |
Подозрение на мягкую 404 (soft_404_suspected) | Верните настоящий 404 или 410, либо наполните страницу. |
Медленный ответ (slow_response) | Проверьте хостинг, включите кеш, найдите тяжёлые запросы к базе. |
Нет hreflang на себя (hreflang_no_self) | Добавьте запись со своим языком и адресом, версии должны ссылаться друг на друга. |
Нет атрибута lang (lang_missing) | Добавьте язык страницы в тег html, например lang="ru". |
Размер больше лимита (size_over_limit) | Вынесите скрипты и стили в файлы, уберите лишнюю разметку: поисковики читают ограниченный объём. |
Замечание с кодом, которого нет в таблице, страница показывает как есть, с текстом и кодом.
Лимиты
| Уровень | Лимит |
|---|---|
| Без регистрации | 15 проверок в час и 30 проверок в сутки на один сайт. |
| Бесплатный аккаунт | 60 проверок в час и 100 проверок в сутки на один сайт. |
| Платный тариф | 200 проверок в час и 200 проверок в сутки на один сайт. |
Есть также общий суточный потолок на весь сервис: если он исчерпан, страница так и скажет. Если вы вошли в аккаунт на этом же браузере, страница сама применит лимит вашего уровня и покажет, сколько проверок осталось. Если лимит исчерпан, она назовёт причину (по адресу, по сайту или общий) и время, когда можно повторить. Бесплатный аккаунт увеличивает лимит и включает ежедневную проверку с письмом при изменениях. Последний введённый адрес хранится только в вашем браузере.
Следить каждый день
Разовая проверка показывает состояние на сейчас. Чтобы узнавать о проблемах сразу, подключите сайт в кабинете: раздел «Здоровье» проверяет важные страницы по расписанию, а оповещения сообщат, если страница стала отвечать ошибкой или закрылась от индексации. Как выглядит страница в HTML для робота, можно скачать в HTML-экспорте.
Если не получилось
- «Введите адрес страницы». Нужен адрес с доменом, например
https://example.ru/page/. Адреса по IP, с логином и паролем и не http/https не принимаются. - Сайт не открылся. Проверьте, что страница доступна из интернета без пароля, а защита от ботов или файрвол не блокирует запросы с нашего сервера.
- Все три клиента получили ошибку, а в браузере страница открывается. Скорее всего, запросы с нашего сервера блокирует защита от ботов или файрвол. Разрешите их или проверьте страницу вручную другим способом, например через HTML-экспорт.
- Страница строится скриптом, и текста нет. Проверка не исполняет JavaScript, поэтому видит ответ до работы скриптов. Если замечание
js_only_suspectedпоявилось, а в браузере текст есть, роботу нужно отдавать текст в HTML. - Нужно проверить не одну страницу, а весь сайт. Здесь проверяется один адрес. Для сайта целиком используйте аудит в кабинете и проверку robots.txt.
- Ответы у ботов и браузера разные, а на сайте всё хорошо. Скорее всего, защита от ботов режет запросы по User-Agent. Посмотрите настройки файрвола и CDN.
- Лимит исчерпан. Подождите время, которое покажет страница, или зарегистрируйтесь: кабинет проверяет страницы автоматически.
- Сервис временно недоступен. Повторите через несколько минут, введённый адрес сохранится.
Что дальше
Читайте также
Ещё в разделе «Инструменты»
- Каталог инструментов и суточные лимиты
- Как читать аудит сайта
- Аудит сайта: параметры, отчёт и лимиты
- Как работает GEO: видимость бренда в нейросетях
- GEO: мастер, расписание и лимиты
- Ускоренная индексация через Google Indexing API
- CrUX и Core Web Vitals
- История запусков
- Как настроить IndexNow
- IndexNow: ключ, карта сайта и фильтры
- Проверка robots.txt и sitemap без регистрации
- Core Web Vitals любого сайта: проверка без регистрации
- Как генерировать тексты по таблице
- Генерация текстов: режимы, лимиты и ошибки
- Как посмотреть страницу глазами поисковика
- Выгрузка HTML: что внутри архива и лимиты
- Как настроить мониторинг позиций в кабинете
Сверено с кабинетом: 8 октября 2026. Заметили расхождение с тем, что видите в интерфейсе? Напишите на support@tools.seoxl.ru.