Robots.txt: поисковики и роботы нейросетей

Коротко. Robots.txt задаёт правила обхода для добросовестных роботов: что можно загружать, а что нет. В строке Sitemap он указывает адрес карты сайта. Убрать страницу из индекса или защитить её он не может. Роботов нейросетей можно пускать выборочно, но проверять надо не сам файл, а то, что сервер на самом деле отдаёт каждому роботу.

Что делает robots.txt

Robots.txt — обычный текстовый файл в корне сайта, по адресу вашсайт.ru/robots.txt. В нём записаны правила для роботов. Робот — это программа, которая обходит сайты и загружает страницы для поисковика или нейросети. Строка User-agent называет робота, строки Disallow и Allow говорят, какие разделы ему не загружать, а какие можно.

Зачем это нужно: чтобы робот не тратил время на корзину, личный кабинет, внутренний поиск и страницы фильтров с параметрами в адресе. Такие страницы плодят дубли, и поисковик видит сайт хуже, чем он есть.

Одна деталь синтаксиса, на которой часто ошибаются. Если для робота есть отдельная группа правил, он читает только её, а общую группу User-agent: * пропускает. Поэтому общие запреты в такой группе нужно повторить.

Чего robots.txt не делает

Не убирает страницы из поиска надёжно. Запрет в файле означает «не загружай», а не «не показывай». Google может показать закрытый адрес в выдаче без описания, если на него ведут ссылки. Чтобы страница ушла из поиска, нужен метатег noindex — служебная пометка в коде страницы. Но робот должен страницу загрузить, иначе он метку не увидит. Поэтому закрыть страницу в robots.txt и одновременно поставить noindex — ошибка: метка не сработает.
Не защищает. Файл открыт любому. Строка Disallow: /admin-secret/ скорее подскажет, где искать. Правила соблюдают добросовестные роботы, а сканеры уязвимостей их не читают. Закрытые разделы закрывают паролем на сервере.
Не управляет доступом на уровне сервера. Если хостинг не пускает робота, никакая строка в файле этого не исправит. Об этом ниже.

Строка Sitemap

Sitemap — карта сайта: XML-файл со списком адресов, которые вы хотите видеть в поиске. Связку ищут часто: «robots txt sitemap» — 165 показов (Вордстат, Россия, 08.10.2026). Записывается строка так: Sitemap: https://вашсайт.ru/sitemap.xml. Адрес указывают полностью, с протоколом. Строка может стоять в любом месте файла и не относится к какой-то группе роботов. Если карт несколько, на каждую пишут свою строку.

Строка в robots.txt — только подсказка. Надёжнее дополнительно отправить карту в Яндекс Вебмастер и Google Search Console. В карте должны быть только открытые основные страницы. Если там окажутся адреса, закрытые в том же robots.txt, вы даёте поисковику противоречивые указания.

Роботы нейросетей: пускать или нет

Робот	Чей	Зачем приходит
GPTBot	OpenAI	собирает тексты для обучения моделей
OAI-SearchBot	OpenAI	обходит сайты для поиска в ChatGPT
ClaudeBot	Anthropic	собирает тексты для моделей Claude
PerplexityBot	Perplexity	обходит сайты для ответов Perplexity
YandexBot	Яндекс	основной робот поиска; на поиск Яндекса опирается и Нейро

Компании разделяют роботов для обучения и роботов для поиска, поэтому решение можно принять раздельно. Не хотите, чтобы тексты шли в обучение, — закройте GPTBot. Хотите, чтобы сайт мог попасть в ответы с источниками, — не закрывайте поисковых роботов. Закрывать YandexBot нельзя вовсе: вместе с Нейро вы уйдёте и из обычного поиска Яндекса.

User-agent: *
Disallow: /cart/

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /cart/

Sitemap: https://вашсайт.ru/sitemap.xml

Почему это стоит решить осознанно: по нашему индексу сентября, Нейро в Яндексе показал ИИ-ответ в 16,4% замеров, а Обзор от ИИ в Google — в 39,7%. Открытый доступ не означает, что нейросеть вас процитирует. Но закрытый сайт она точно не прочитает.

Почему файл разрешает, а робот не проходит

Между robots.txt и роботом стоит сервер, а часто ещё и защита от ботов у хостинга или сети доставки. Защита ведёт белый список — перечень роботов, которых пропускают без проверки. Поисковики в нём обычно есть, роботы нейросетей — не всегда.

Проверка 13.09.2026 на сайте заказчика показала это наглядно. Googlebot, YandexBot и Bingbot получили страницу целиком — 403 243 байта. OAI-SearchBot, ClaudeBot и PerplexityBot получили заглушку защиты хостинга в 274 байта. В robots.txt эти роботы не упоминались вовсе. Запрет был не решением владельца, а побочным эффектом настроек защиты.

Есть и обратная ловушка. Ответ 503 («сервис недоступен») роботу GPTBot мы получали на собственном сайте, где роботы нейросетей разрешены явно. Сам по себе такой код запрета не доказывает. Сравнивать надо с ответом Googlebot на том же адресе в то же время.

Как проверить, что отдаётся роботу

Откройте вашсайт.ru/robots.txt в браузере. Убедитесь, что приходит сам файл, а не страница ошибки или заглушка.
Проверьте файл в инструменте анализа robots.txt в Яндекс Вебмастере и в отчёте о файле robots.txt в Google Search Console. Там видно, какие адреса закрыты и есть ли ошибки в строках.
Запросите одну страницу от имени разных роботов и сравните размер ответа: curl -s -A 'Googlebot' https://вашсайт.ru/ | wc -c, затем то же с подписью OAI-SearchBot, ClaudeBot, PerplexityBot. Большая разница в размере — повод смотреть настройки защиты.
Посмотрите логи сервера и сверьте адреса с официальными списками сетей. За две недели в логах нашего сайта было 71 визит с подписью робота OpenAI. Из сетей, которые OpenAI публикует как свои, пришли 16, остальные 55 — посторонние адреса под известным именем. Подпись робота подделать легко, поэтому выводы делают только после сверки адресов.

Если после проверки страниц всё равно нет в поиске, пройдите по шагам из статьи почему сайта нет в поиске. Проверку доступа для разных роботов мы включаем в SEO-аудит.

Хотите увидеть это на своём сайте? Бесплатная проверка — один разбор на выбор: три вопроса в одном ИИ-движке или доступность сайта для роботов. Ответ — в течение рабочего дня, без оплаты и обязательств.