бесплатно

Проверка Last-Modified

Проверьте, как сервер сообщает дату изменения страниц: заголовки Last-Modified, ETag, Cache-Control, поддержку условных запросов (ответ 304) и совпадение с lastmod из sitemap.xml.

  • до 10 адресов без регистрации
  • по списку или sitemap.xml
  • CSV одним кликом

Какие адреса проверить

По одному адресу в строке. Можно загрузить CSV или TXT: адреса берём из первой колонки.

Нужно, если у сайта просрочен или не доверенный сертификат, а ответ посмотреть надо. По умолчанию выключено. Результат информативный: поисковики сертификат проверяют и могут не принять такой сайт.

Расширенные настройки: сайт по умолчанию, свой User-Agent, заголовки и пароль

Заголовки и пароль не сохраняются и не пишутся в журналы, нужны только на время проверки. Они уходят лишь на сайт, который вы проверяете, и снимаются, если страница перенаправляет на другой сайт.

Запросы идут с нашего сервера под именем SeoXLToolsBot (как мы это делаем), не чаще двух в секунду на один сайт. Внутренние и непубличные адреса не проверяются.

Зачем нужен Last-Modified

Last-Modified и ETag позволяют роботу спросить «страница менялась?» и получить короткий ответ 304 вместо всей страницы. Это экономит краулинговый бюджет и помогает быстрее переиндексировать действительно обновлённые страницы. Если сервер всегда отдаёт 200, а дата ложная или отсутствует, робот тратит время на неизменные страницы и позже замечает настоящие обновления.

FAQ

Частые вопросы

Зачем нужен Last-Modified для индексации?
Last-Modified и ETag позволяют поисковому роботу спросить сервер, менялась ли страница, и получить короткий ответ 304 без тела. Это экономит краулинговый бюджет и помогает быстрее переиндексировать действительно обновлённые страницы.
Что значит «дата изменения в будущем» и «равна текущему времени»?
Дата в будущем это ошибка часов сервера или кода, формирующего заголовок: поисковики такому значению не доверяют. Если дата равна времени запроса, страница «обновляется» при каждом обращении, и робот не может отличить реальные изменения.
Что такое ответ 304 и как его включить?
Если робот присылает If-Modified-Since или If-None-Match, сервер должен ответить 304 Not Modified, когда страница не менялась. Для статики это настраивается в веб-сервере, для динамических страниц нужно отдавать корректные даты и ETag из приложения.
Как сравнивается дата с sitemap.xml?
Если указать sitemap.xml, мы возьмём из него адреса и значения lastmod и сравним с заголовком Last-Modified. Расхождение больше суток помечается: поисковик получает противоречивые сигналы.
Сколько адресов можно проверить бесплатно?
Без регистрации до 10 адресов за проверку, в бесплатном аккаунте до 50, на платных тарифах больше. На каждый адрес мы делаем до трёх запросов, не чаще двух в секунду на один сайт.