noindex, X-Robots-Tag или Disallow: что выбрать для служебных страниц
Disallow в robots.txt запрещает обход, noindex запрещает индексацию, и по одному из них нельзя заменить другой. Хуже всего ставить оба на один адрес: закрытую страницу бот не загрузит и noindex не увидит. Это и есть ответ на вопрос, почему закрытая страница остаётся в поиске.
| Задача | Что ставить | Почему |
|---|---|---|
| Страница должна пропасть из поиска, остаётся доступной людям | noindex в метатеге robots или в заголовке X-Robots-Tag | Бот должен загрузить страницу, чтобы прочитать запрет |
| Файл не HTML: PDF, изображение, видео | Заголовок X-Robots-Tag | В файл нельзя вставить метатег |
| Разделы с личными данными | Код 403 и авторизация | Яндекс рекомендует 403 для страниц с личными данными |
| Страницы удалены насовсем | 404 или 410 | Так Яндекс рекомендует для удалённых страниц |
| Нужно сократить обход технических адресов (поиск, фильтры) | Disallow в robots.txt | Это управление обходом; из индекса адрес может не пропасть |
Как проверить
- Откройте адрес так, как его получает бот (инструмент «Глазами робота» или
curl -I), и найдитеX-Robots-Tagв заголовках иmeta name="robots"в HTML. - Проверьте по robots.txt, что адрес не закрыт, если нужен noindex.
- Через несколько дней убедитесь по проверке URL, что бот прочитал запрет: до этого страница может ещё числиться в выдаче.
Для Яндекса справка сообщает похожую логику: noindex запрещает индексирование и убирает страницу из результатов, Disallow управляет обходом. Про поведение закрытой страницы со ссылками справка прямого ответа не даёт.
Что на чём держится
| Утверждение | Уровень | Основание |
|---|---|---|
| noindex задают метатегом robots или заголовком X-Robots-Tag; Google исключает страницу из результатов, если видит директиву | A | Google: как заблокировать индексирование (noindex) |
| Если страница закрыта в robots.txt, краулер не увидит noindex, и страница может остаться в выдаче при ссылках на неё | A | Google: как заблокировать индексирование (noindex) |
| Google не поддерживает noindex в robots.txt | A | Google: как заблокировать индексирование (noindex) |
| X-Robots-Tag нужен для файлов не HTML | A | Google: как заблокировать индексирование (noindex) |
| Яндекс: Disallow управляет обходом, noindex индексированием, 403 для страниц с личными данными, 404/410 для удалённых | A | Яндекс Вебмастер: как скрыть от обхода страницы, которые не нужны в поиске |
| /register/ на нашем сайте: noindex и Disallow одновременно, статус «URL неизвестен Google» | A | robots.txt и HTML в файлах сайта; мониторинг SEOXL сайта tools.seoxl.ru (проверка индексации URL, 18.10.2026) |
| Поведение Яндекса для закрытой Disallow страницы со ссылками в справке прямо не описано | A | Яндекс Вебмастер: как скрыть от обхода страницы, которые не нужны в поиске |
Уровни: A прямое подтверждение (официальная документация или наш замер того же), B близкое, C косвенное, D гипотеза, E предположение.