ИИ-боты на сайте: что они берут по логу и чем отличаются
ИИ-боты ведут себя по-разному, и «пустить» или «закрыть» их одним правилом нельзя. В нашем логе за 10 суток они составили 0,12% строк (525 из 425 747), и два из них по сути не читали страницы: ClaudeBot брал только sitemap.xml и robots.txt, OAI-SearchBot только robots.txt.
| Бот (по User-Agent) | Строк | Разных адресов | robots.txt | sitemap.xml |
|---|---|---|---|---|
| Applebot | 131 | 110 | 17 | 0 |
| meta-externalagent | 105 | 99 | 0 | 0 |
| Amazonbot | 103 | 101 | 0 | 0 |
| ClaudeBot | 75 | 2 | 37 | 38 |
| GPTBot | 57 | 44 | 0 | 10 |
| OAI-SearchBot | 26 | 1 | 26 | 0 |
| PerplexityBot | 11 | 3 | 5 | 0 |
| Claude-User | 10 | 10 | 0 | 1 |
| Bytespider | 7 | 3 | 5 | 0 |
tools.seoxl.ru, 13.10–23.10.2026. «Разных адресов» включает robots.txt и sitemap.xml, если бот их запрашивал.
Что из этого следует
- Правила в robots.txt для ИИ-ботов стоит писать по именам и проверять по логу, кто их читает.
- Один и тот же User-Agent может быть разной задачей: поисковый краулер, сбор данных или запрос по просьбе пользователя (Claude-User). Мы этого по логу не различаем.
- Объём мал: доля ИИ-ботов в логе 0,12%, влияния на нагрузку нет.
Что на чём держится
| Утверждение | Уровень | Основание |
|---|---|---|
| Строк ИИ-ботов по User-Agent: 525 из 425 747 (0,12%) | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Таблица ботов: строки, разные адреса, robots.txt, sitemap.xml | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Подлинность ИИ-ботов не проверялась | B | ограничение метода: общего способа проверки нет |
| meta-externalagent и Amazonbot не запрашивали robots.txt в окне 13–23.10 | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Что боты делают с данными | E | неизвестно |
Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.