Проверка Last-Modified
Проверьте, как сервер сообщает дату изменения страниц: заголовки Last-Modified, ETag, Cache-Control, поддержку условных запросов (ответ 304) и совпадение с lastmod из sitemap.xml.
- до 10 адресов без регистрации
- по списку или sitemap.xml
- CSV одним кликом
Какие адреса проверить
По одному адресу в строке. Можно загрузить CSV или TXT: адреса берём из первой колонки.
Нужно, если у сайта просрочен или не доверенный сертификат, а ответ посмотреть надо. По умолчанию выключено. Результат информативный: поисковики сертификат проверяют и могут не принять такой сайт.
Расширенные настройки: сайт по умолчанию, свой User-Agent, заголовки и пароль
Заголовки и пароль не сохраняются и не пишутся в журналы, нужны только на время проверки. Они уходят лишь на сайт, который вы проверяете, и снимаются, если страница перенаправляет на другой сайт.
Запросы идут с нашего сервера под именем SeoXLToolsBot (как мы это делаем), не чаще двух в секунду на один сайт. Внутренние и непубличные адреса не проверяются.
Зачем нужен Last-Modified
Last-Modified и ETag позволяют роботу спросить «страница менялась?» и получить короткий ответ 304 вместо всей страницы. Это экономит краулинговый бюджет и помогает быстрее переиндексировать действительно обновлённые страницы. Если сервер всегда отдаёт 200, а дата ложная или отсутствует, робот тратит время на неизменные страницы и позже замечает настоящие обновления.