Наш робот и как его разрешить
Когда человек вводит адрес своего сайта в бесплатный инструмент SeoXL, наш сервер один раз открывает этот адрес так же, как браузер. Если защита вашего сайта принимает его за вредного бота, вы увидите 403, 429, 503 или страницу с капчей. Ниже: как нас узнать и как разрешить доступ.
Как нас узнать
| User-Agent | SeoXLToolsBot/1.0 (+https://tools.seoxl.ru/bot/)Mozilla/5.0 (compatible; SeoXLBot/1.0; +https://tools.seoxl.ru/bot) (онлайн-аудит) |
|---|---|
| IP-адрес | 185.250.44.191 (адрес сервера tools.seoxl.ru) |
| Когда заходим | Только по запросу человека, который проверяет этот адрес в инструменте. Фонового обхода сайтов нет. |
| Частота | Один-два запроса на адрес, не чаще одного обращения к хосту в секунду, пауза между запросами к одному сайту. |
| Что не делаем | Не обходим капчи и защиту, не заходим на закрытые разделы, не отправляем формы, не выполняем скрипты. |
User-Agent можно подделать, поэтому надёжнее разрешать по IP-адресу, а User-Agent использовать как вторичный признак.
Почему мы получаем 403, 429 или капчу
Защитные сервисы (Cloudflare, Яндекс SmartCaptcha, DDoS-Guard, Wordfence и другие) блокируют запросы от серверов хостинга и неизвестных роботов. Для поисковых систем есть исключения, для нас их нет, пока вы их не добавите. Это только про проверку по запросу владельца: наш робот не влияет на ваши позиции.
curl -I -A "Mozilla/5.0 (compatible; Googlebot/2.1)" https://ваш-сайт/страница. Но настоящий Googlebot защита пускает по другим правилам (проверка по обратному DNS), поэтому результат с любым User-Agent с чужого адреса может отличаться.Как разрешить доступ
Cloudflare
Security → WAF → Custom rules → Create rule. Действие Skip (пропустить проверки) или Allow, условие:
(ip.src eq 185.250.44.191) or (http.user_agent contains "SeoXLToolsBot")
Если капча включена правилом Bot Fight Mode, добавьте исключение в Security → Bots → Configure (для планов, где доступно), либо правило Skip с отметкой Bot Fight Mode. Если блокирует «AI Crawl Control», это отдельная настройка ИИ-ботов и нас не касается.
nginx
geo $seoxl_bot { default 0; 185.250.44.191 1; }
# в блоке server или location, где стоит ограничение:
if ($seoxl_bot) { set $limit_key ""; } # ключ пустой: limit_req не считает запрос
# или, если доступ закрыт по IP:
allow 185.250.44.191;
Apache (.htaccess)
Require ip 185.250.44.191 # если действует блокировка по User-Agent: SetEnvIfNoCase User-Agent "SeoXLToolsBot" seoxl_ok Require env seoxl_ok
WordPress: Wordfence и подобные
Wordfence → Firewall → Blocking или Allowlisted IPs: добавьте 185.250.44.191. В iThemes Security и All In One WP Security есть список «доверенных IP» с тем же назначением.
Яндекс SmartCaptcha, DDoS-Guard, хостинг-защита
Найдите в настройках раздел «белый список IP» или «исключения» и добавьте 185.250.44.191. Если такого раздела нет, напишите в поддержку защиты: просьба «разрешить IP 185.250.44.191 для проверки сайта».
Как проверить, что получилось
Откройте инструмент «Ответ сервера», введите страницу и оставьте User-Agent по умолчанию (наш робот). Должен прийти код 200. Если по-прежнему 403, посмотрите журнал защиты за последние минуты и найдите запись с адресом 185.250.44.191.
Как запретить нашему роботу заходить
Заблокируйте IP-адрес 185.250.44.191 или User-Agent SeoXLToolsBot на уровне сервера или защиты. Файл robots.txt мы по запросу человека не применяем к проверке его же страницы, потому что проверка идёт от имени владельца, но сам запрет по IP работает всегда.
Вопросы
Если наш робот ведёт себя неправильно (слишком часто, в неположенные места), напишите на страницу контактов: укажите адрес сайта и время обращения по журналу.