Цель: проверить, есть ли важный контент в HTML, который сервер отдаёт роботу. Что нужно: список адресов и пара минут. Google умеет выполнять JavaScript, но делает это позже и не всегда, а Яндекс полагается на исходный HTML ещё сильнее. Поэтому надёжнее, когда текст, ссылки и разметка есть в ответе сервера сразу.
Шаг 1. Вставьте адреса страниц
Откройте раздел HTML-экспорт и вставьте один адрес или список — до 300 URL за раз, дубли отбрасываются. Начните с типовых страниц: карточка товара, категория, статья.
Удобнее проверять группу однотипных страниц: проблема шаблона видна сразу на всех.
Шаг 2. Выберите, от чьего имени запрашивать
Режим Googlebot запрашивает страницы с User-Agent поискового робота, режим браузер — как обычный посетитель. Запустите выгрузку: по каждому адресу появятся код ответа, итоговый адрес после редиректов, тип и размер ответа, а также сам HTML.
Шаг 3. Проверьте HTML
Откройте выгруженный HTML и сравните с тем, что видите в браузере:
- Основной текст. Есть ли в HTML описания, характеристики, статьи. Если вместо них пустой контейнер вроде
<div id="root"></div>, контент рисует JavaScript. - Внутренние ссылки. Видны ли ссылки обычными тегами
<a href>. Переходы только на скриптах робот может не пройти. - Заголовки и разметка. На месте ли
<title>, H1, canonical и микроразметка.
Шаг 4. Исправьте то, чего нет в HTML
Всё, что есть в браузере, но отсутствует в выгруженном HTML, зависит от JavaScript. Это стоит выводить в ответе сервера сразу.
- Текста нет в HTML. Попросите разработчиков отдавать основной контент на сервере (SSR или пре-рендер).
- Ссылки не видны. Замените переходы на скриптах обычными
<a href>. - Всё на месте. Проверьте остальные типы страниц — проблема может быть в одном шаблоне.