Почему страница не в индексе Google и Яндекса: причины и как проверить
Страница опубликована, но в поиске её нет. Чаще всего причина находится за несколько минут, если проверять по порядку: от запретов, которые вы поставили сами, до того, что поисковик просто не видит смысла индексировать страницу.
1. Убедитесь, что страницы действительно нет в индексе
В Google Search Console используйте проверку URL — она покажет, известна ли страница Google и почему её нет в индексе. В Яндекс Вебмастере — раздел «Индексирование» и проверку статуса URL. Поиск с оператором site: даёт только примерную картину.
2. Проверьте запреты
- Мета-тег robots с noindex или такой же HTTP-заголовок X-Robots-Tag.
- Правило Disallow в robots.txt. Важно: robots.txt запрещает обход, а не индексацию, но страницу, которую нельзя обойти, поисковик не сможет нормально проиндексировать.
- Закрытый доступ: пароль, авторизация, блокировка по IP или стране.
3. Проверьте ответ сервера
Страница должна отдавать код 200. Редирект, 404, 5xx или «мягкая 404» — когда страница отвечает 200, но выглядит как пустая или ошибочная, — частые причины выпадения. Проверьте и то, что сервер отвечает поисковому роботу так же, как браузеру.
4. Проверьте canonical и дубли
Если в теге canonical указан другой адрес, поисковик проиндексирует его, а вашу страницу посчитает копией. Дубли с параметрами, слешем в конце и без, http и https тоже размывают индексацию — выберите один адрес и ведите на него редиректами.
5. Проверьте, есть ли контент в HTML
Если текст и ссылки появляются только после выполнения JavaScript, поисковик может увидеть почти пустую страницу. Посмотрите HTML, который сервер отдаёт роботу, и убедитесь, что основной контент там есть.
6. Дайте поисковику найти страницу
- Добавьте страницу в sitemap.xml и убедитесь, что sitemap указан в robots.txt и в кабинетах поисковиков.
- Поставьте на неё внутренние ссылки с уже проиндексированных страниц — страница без ссылок для робота почти невидима.
- Сообщите об изменении: в Google — через Indexing API (лимит 200 URL в сутки на проект Google Cloud), в Яндексе и Bing — через IndexNow.
7. Если всё в порядке, а индекса нет
Поисковики индексируют не всё подряд. Очень похожие страницы, тонкий контент и страницы без спроса могут остаться вне индекса, даже если технически они доступны. Здесь помогает только польза: уникальный текст, ответ на конкретный вопрос, понятное место в структуре сайта.
Разборы SEO и GEO выходят и в Telegram — в канале основателя платформы Алексея Дёмкина: @ademkin_seo.