Robots.txt не запрещает обучение нейросетей — это только просьба к роботу не скачивать страницы. Гари Ильес из Google напомнил, что файл решает только, может ли краулер скачать контент, а что потом делают с текстами, он не решает. Строка Disallow для GPTBot не убирает сайт из ответов ChatGPT и не влияет на уже скачанные страницы. Действует она только на будущие обходы.
Основная проблема: обучение ИИ-моделей и появление сайта в ответах нейросетей обслуживают разные роботы. У OpenAI три бота — GPTBot собирает тексты для обучения, OAI-SearchBot находит страницы для поиска ChatGPT, ChatGPT-User приходит по действию пользователя. У Anthropic похожая схема с ClaudeBot, Claude-SearchBot и Claude-User. Google разделил обучение от поиска токеном Google-Extended: он не обходит сайты, а только решает, пойдут ли уже скачанные страницы в обучение Gemini и в grounding.
Какие роботы закрыть, какие оставить
Чтобы закрыть обучение и остаться в ответах, нужно запретить роботов для обучения и оставить открытыми поисковых роботов и ботов, приходящих по запросу пользователя:
User-agent: GPTBot User-agent: ClaudeBot User-agent: CCBot User-agent: Applebot-Extended Disallow: /
User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User Allow: /
Первая группа просит не скачивать для обучения OpenAI, Anthropic, Common Crawl и Apple. Вторая оставляет роботов открытыми. Google такой файл не трогает — из поиска ChatGPT и Claude сайт не уберёт. Запрет Google-Extended может стоить места в ответах Gemini, поэтому его включают только если это важнее для бизнеса.
В России ситуация беднее. Яндекс Вебмастер советует запретить YandexAdditional или YandexAdditionalBot, чтобы страницы не попадали в быстрые ответы Алисы. Изменение учитывается за 2–14 дней. Отдельного токена только для обучения у Яндекса нет — закрытый YandexBot убирает сайт и из поиска, и из ИИ-ответов. Сбер не публикует имя робота GigaChat, поэтому назвать его в robots.txt пока нельзя.
Какие боты не слушают robots.txt
Перплексити при блокировке меняет user agent и ASN, порой даже не запрашивая robots.txt. Cloudflare в августе 2025 года обнаружил, что Perplexity представляется браузером Chrome на macOS и скачивает контент с десятков тысяч доменов, миллионы запросов в день. Самым послушным оказался ChatGPT-User — он запросил robots.txt и прекратил обход, хотя OpenAI предупреждает, что правила к нему могут не применяться.
Проверить своих роботов можно по access-логам: отберите строки с токенами и посмотрите, какие страницы они запрашивали после Disallow. Успешный ответ на запрос закрытого раздела значит, что робот всё равно скачал страницу. Если робот представляется браузером, помогут блокировка на сервере или в CDN — они отличают робота от обычного браузера по признакам трафика: сети и ритму запросов.
Другие способы защиты
Метатег nosnippet, который предлагает Apple, запрещает конкретный контент в ответах Siri и поиска Apple на общие вопросы. TDMRep — протокол W3C, который выражает оговорку прав на автоматический анализ текстов. Юридический вес у него в ЕС по директиве 2019/790, вне ЕС это не действует. С июля 2025 года Cloudflare бета-тестирует Pay Per Crawl — сайт может брать плату с ИИ-краулеров за каждый доступ.
Общий запрет обучения уже работает у Anthropic с 30 октября 2026 года:
User-agent: __usage_ai-training Disallow: /
Google планирует поддержать этот сигнал AIPREF в начале 2027 года. IETF готовит стандарт с правилом Content-Usage для robots.txt и HTTP-заголовка, но словарь значений ещё не утвердили. Пока стандарт не принят, обучение и ответы приходится закрывать отдельно и называть каждого робота по имени.
По материалам Habr SEO.
