404, 410 или 403: какой код отдавать боту и когда это важно
Код ответа должен честно сообщать, что со страницей случилось. Яндекс прямо рекомендует 403 для страниц с личными данными и 404 или 410 для удалённых, а Google все коды 4xx, кроме 429, обрабатывает одинаково как «контента нет». Хуже любого из них ответ 200 на пустую страницу.
Как проверить
- Откройте несуществующий адрес на своём сайте:
curl -sI https://example.com/net-takoj-stranitsy/. Нужен 404, а не 200. - Откройте закрытый раздел без входа: нужен 403 или переход на форму входа, а не содержимое.
- Просмотрите в логе коды для ботов: много 404 на адреса из sitemap или ссылок это ошибка, 404 на адреса, которых вы не выдавали, нет.
| Ситуация | Код | Основание |
|---|---|---|
| Страница удалена насовсем | 410 (или 404) | Яндекс: для удалённых страниц 404 или 410; Google: оба как «нет контента» |
| Страницы с личными данными, нужен вход | 403 (и авторизация) | Яндекс: 403 для страниц с личными данными |
| Страница переехала | 301 (308) на новый адрес | Google: 301 и 308 сильный сигнал |
| Бот присылает слишком много запросов | 429 | Google сокращает сканирование при 429 и 5xx |
| Пустая категория, «ничего не найдено» | лучше 404, не 200 | 200 на пустую страницу это soft 404 |
Что на чём держится
| Утверждение | Уровень | Основание |
|---|---|---|
| Яндекс: 403 для страниц с личными данными, 404 или 410 для удалённых | A | Яндекс Вебмастер: как скрыть от обхода страницы, которые не нужны в поиске |
| Google: все 4xx кроме 429 одинаково «нет контента»; soft 404 это 2xx с видом ошибки; 301 и 308 сильный сигнал | A | Google: коды ответа HTTP, soft 404 и редиректы |
| Google сокращает сканирование при 5xx и 429 | A | Google: управление краулинговым бюджетом |
| Googlebot: 18 из 241 подтверждённых запросов получили 404 (7,5%); у Яндекса и Bing 404 нет | A | наши логи nginx tools.seoxl.ru за 13.10–23.10.2026, подтверждение ботов по обратному DNS и спискам адресов |
| Скорость исчезновения из индекса по коду не измерялась | A | ограничение, замера нет |
Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.