Disallow в robots.txt для GPTBot, CCBot и других AI-краулеров не защищает контент от использования в обучении моделей. Об этом прямо сказал Гари Ильес из Google (Search Engine Journal, 2026).
Для владельцев сайтов и тех, кто строит контентные стратегии в affiliate-маркетинге, это меняет расклад.
Что именно говорит Ильес
Формулировка простая: robots.txt управляет краулингом. Он сообщает боту, можно ли обходить страницы и забирать их содержимое в индекс поисковика. К обучению ИИ это отношения не имеет.
То есть Disallow для GPTBot означает только одно: бот не будет краулить страницы. Но если контент уже собран и попал в обучающий датасет, запись в robots.txt на этот процесс не влияет. Файл не отзывает данные из прошлых сборов и не даёт юридического запрета на их использование.
Почему привычка не работает
Логика владельца сайта выглядит разумно: закрыл краулер — закрыл контент. Но технически это разные уровни.
- robots.txt — про доступ, не про права. Это директива для ботов, которые её соблюдают. Она не лицензия и не договор.
- Обучение идёт на собранных данных. Если страницы уже были скачаны, запрет на будущий краулинг ничего не отменяет.
- Добровольность. Часть AI-краулеров robots.txt игнорирует. Записи в файле для них — не барьер.
В affiliate-маркетинге это повод проверить, какие данные уже утекли в датасеты. Особенно если сайт годами открыто индексировался.
Где robots.txt всё же полезен
Не стоит сбрасывать файл со счетов. Для управления нагрузкой и индексацией он работает.
- Закрыть служебные разделы от поисковых ботов.
- Ограничить обход тяжёлых страниц.
- Дать сигнал AI-краулерам, которые готовы его слушать.
Только не путать это с защитой контента. Если задача — не допустить использование материалов в обучении моделей, robots.txt её не решает.
Что делать вместо этого
Раз robots.txt не закрывает вопрос, нужны другие инструменты. Вот что имеет смысл проверить.
Условия использования сайта
ToS — это уже про права, не про краулинг. Пропишите прямо: контент не может использоваться для обучения моделей без разрешения. Юридической силы у записи в robots.txt меньше, у условий использования — больше.
Технические ограничения
Если контент нужно защитить от массового скачивания:
- Аутентификация для закрытых разделов.
- Rate limiting — чтобы автоматические сборы не выгребали сайт пачками.
- Мониторинг логов — кто и с какой частотой обращается к страницам.
Это не блокирует всё, но снижает объём данных, которые можно собрать незаметно.
Проверка, кто уже собрал контент
Вопрос не только к будущим краулерам. Если материалы сайта уже используются в датасетах, стоит это отслеживать. Для SEO-специалистов и арбитражников это часть гигиены контента, а не абстракция.
Что это значит для SEO и affiliate
Контент, который вы публикуете, — актив. Если он попадает в обучение моделей без вашего ведома, вы теряете контроль над тем, как он используется дальше.
Практические выводы для тех, кто работает с контентом:
- Не считайте robots.txt защитой. Это директива для краулинга, не для прав.
- Добавьте условия использования. Пропишите запрет на обучение моделей явно.
- Следите за сборами. Логи и rate limiting покажут, что происходит с сайтом.
- Оценивайте риски по вертикали. Если контент — ваш основной актив, защита прав важнее, чем запись в robots.txt.
Ильес обозначил границу, которую многие владельцы сайтов не видели. robots.txt управляет доступом ботов к страницам. Использование контента — отдельная история, и решать её нужно другими средствами.
Это повод пересмотреть, на что вы рассчитываете, когда закрываете GPTBot в robots.txt. Если рассчитываете на защиту контента — расчёт неверный.
