Проверка индексируемости страниц
Вставьте список адресов и узнайте, мешает ли что-то индексации: ответ сервера, цепочка редиректов, robots.txt для Googlebot и YandexBot, noindex в meta и заголовке, canonical, наличие в sitemap.xml и hreflang. В итоге светофор и понятные причины.
- до 10 адресов без регистрации
- Google и Яндекс отдельно
- CSV одним кликом
Какие адреса проверить
По одному адресу в строке. Можно загрузить CSV или TXT: адреса берём из первой колонки.
Нужно, если у сайта просрочен или не доверенный сертификат, а ответ посмотреть надо. По умолчанию выключено. Результат информативный: поисковики сертификат проверяют и могут не принять такой сайт.
Расширенные настройки: сайт по умолчанию, свой User-Agent, заголовки и пароль
Заголовки и пароль не сохраняются и не пишутся в журналы, нужны только на время проверки. Они уходят лишь на сайт, который вы проверяете, и снимаются, если страница перенаправляет на другой сайт.
Запросы идут с нашего сервера под именем SeoXLToolsBot (как мы это делаем), не чаще двух в секунду на один сайт. Внутренние и непубличные адреса не проверяются.
Как читать результат
«Индексируется» значит, что мы не нашли технических препятствий: страница открывается, не закрыта в robots.txt и без noindex. Это не гарантия попадания в поиск, но дальше вопрос качества и ссылок. «Есть риски»: страница может проиндексироваться не тем адресом (другой canonical), закрыта для одного из поисковиков, отвечает ошибкой сервера или цепочкой редиректов. «Не индексируется»: ответ 4xx, петля редиректов или закрыто для обоих. В каждой строке мы пишем причину и что делать.