Почему страница не в индексе Google и Яндекса: причины и как проверить
Страница опубликована, но в поиске её нет. Чаще всего причина находится за несколько минут, если проверять по порядку: от запретов, которые вы поставили сами, до того, что поисковик просто не видит смысла индексировать страницу.
Коротко. Проверяйте по порядку: есть ли страница в индексе на самом деле, нет ли запретов (noindex, robots.txt), отвечает ли сервер кодом 200, не указан ли чужой canonical, есть ли контент в HTML и знает ли поисковик о странице. Если всё чисто, остаётся вопрос пользы страницы.
1. Убедитесь, что страницы действительно нет в индексе
В Google Search Console используйте проверку URL: она покажет, известна ли страница Google и почему её нет в индексе. В Яндекс Вебмастере откройте раздел «Индексирование» и проверку статуса URL. Поиск с оператором site: даёт только примерную картину.
2. Проверьте запреты
- Мета-тег robots с noindex или такой же HTTP-заголовок X-Robots-Tag.
- Правило Disallow в robots.txt. Важно: robots.txt запрещает обход, а не индексацию, но страницу, которую нельзя обойти, поисковик не сможет нормально проиндексировать.
- Закрытый доступ: пароль, авторизация, блокировка по IP или стране.
3. Проверьте ответ сервера
Страница должна отдавать код 200. Редирект, 404, 5xx или «мягкая 404» (страница отвечает 200, но выглядит как пустая или ошибочная) часто становятся причиной выпадения. Проверьте и то, что сервер отвечает поисковому роботу так же, как браузеру.
4. Проверьте canonical и дубли
Если в теге canonical указан другой адрес, поисковик проиндексирует его, а вашу страницу посчитает копией. Дубли с параметрами, слешем в конце и без, http и https тоже размывают индексацию: выберите один адрес и ведите на него редиректами.
5. Проверьте, есть ли контент в HTML
Если текст и ссылки появляются только после выполнения JavaScript, поисковик может увидеть почти пустую страницу. Посмотрите HTML, который сервер отдаёт роботу, и убедитесь, что основной контент там есть.
6. Дайте поисковику найти страницу
- Добавьте страницу в sitemap.xml и убедитесь, что sitemap указан в robots.txt и в кабинетах поисковиков.
- Поставьте на неё внутренние ссылки с уже проиндексированных страниц: страница без ссылок для робота почти невидима.
- Сообщите об изменении: в Google через Indexing API (лимит 200 URL в сутки на проект Google Cloud), в Яндексе и Bing через IndexNow.
7. Если всё в порядке, а индекса нет
Поисковики индексируют не всё подряд. Очень похожие страницы, тонкий контент и страницы без спроса могут остаться вне индекса, даже если технически они доступны. Здесь помогает только польза: уникальный текст, ответ на конкретный вопрос, понятное место в структуре сайта.
Читайте также
- Как проверить robots.txt и sitemap: что значат замечания и что исправить
- Как увидеть страницу глазами поискового робота: noindex, canonical, редиректы и клоакинг
- IndexNow: как ускорить индексацию в Яндексе и Bing без регистрации
Справка по теме
- Ускоренная индексация через Google Indexing API
- Индексация URL на дашборде
- Как страницу видит робот: проверка без регистрации
Разборы SEO и GEO выходят и в Telegram, в канале основателя платформы Алексея Дёмкина: @ademkin_seo.