Сайт закрывает ClaudeBot в robots.txt — и через месяц не понимает, почему его нет в ответах Claude с поиском в интернете. Причина простая: у Anthropic три бота, и только один из них собирает тексты для обучения. Два других отвечают за то, чтобы страница попала в выдачу.
Crawl Readiness в октябре 2026 года проверил топ-1000 сайтов. Из 569 сайтов, где robots.txt вообще есть, Claude-SearchBot закрыт у 63, то есть у каждого девятого. И это блокировка именно того бота, от которого зависит показан ли сайт в ответах.
Кто из ботов что делает
Разделение ролей решает всё. Внутри Anthropic работу с сайтами ведут три разных агента:
- обучающий бот собирает тексты для обучения ИИ-моделей;
- поисковый бот индексирует страницы для поиска Claude в интернете;
- пользовательский бот приходит, когда человек просит модель прочитать конкретную страницу.
В robots.txt каждый закрывается отдельно. Из этого следует главное: блокировать обучение можно, не отрезая себя от поиска. Достаточно закрыть обучающего бота — поисковый и пользовательский остаются работать.
Условие попадания в ответы
Страница попадает в источники Claude, только если её видит поиск, через который Claude ищет, и на сайт пускают поискового и пользовательского ботов. Оба условия обязательны. Закрыт поисковый — страницы нет в индексе. Закрыт пользовательский — бот не достучится до материала, даже если тот в индексе.
Обучающий бот на это почти не влияет. Его блокировка не мешает ни индексации, ни чтению страницы в момент запроса.
Отсюда практический вывод для сайта, который хочет быть в ответах: смотреть надо на две строки в robots.txt, а не на одну. Если цель была не отдавать тексты в обучение, хватило бы закрыть один бот. Проблема в том, что закрывают все три подряд — и заодно отрезают поиск.
Что показывает цифра 63 из 569
Каждый девятый сайт с robots.txt закрыл Claude-SearchBot. Это не единичные случаи невнимательности, а системная ошибка. Похоже, владельцы сайтов действуют по привычке: видят нового бота — закрывают, не разбираясь в задаче.
Для арбитражника и affiliate-сайта это прямой убыток. Такой сайт не попадёт в ответы Claude с поиском в интернете. Пользователь задаёт вопрос, модель идёт в индекс, а материала там нет. Трафик, который мог прийти из ответов, просто не появляется.
Как проверить свой robots.txt
Задача сводится к трём шагам. Сначала открыть robots.txt и найти упоминания ботов Anthropic. Потом понять, какой из них закрыт. Дальше решить: если блокировка стоит на поисковом или пользовательском боте, а трафик из ответов Claude нужен — снять её.
Если цель — только запретить обучение на своих текстах, оставляют закрытым обучающего бота. Поисковый и пользовательский при этом открыты. Такая схема даёт и защиту контента от обучения, и присутствие в выдаче.
Стоит учесть, что это не разовая правка. Список ботов у Anthropic меняется, а robots.txt на многих сайтах пишется один раз и забывается. Проверять его надо при каждом обновлении контента или смене SEO-стратегии.
Почему это касается арбитражников и affiliate-сайтов
Ответы Claude с поиском в интернете — новый канал трафика. Он работает иначе, чем обычная выдача: пользователь получает готовый ответ, а источники идут рядом. Если страница в источниках, часть аудитории переходит на сайт. Нет в источниках — нет перехода.
Для контентных площадок, обзоров офферов, сравнительных таблиц и гайдов это ещё один вход трафика помимо классического SEO. Блокировка поискового бота Anthropic закрывает этот вход. Ущерб не виден в аналитике: не пришло — значит, не посчиталось. Сайт просто не появляется там, где мог бы.
Проверка занимает пару минут. Цена ошибки — потерянный канал, который не покажет ни один отчёт.
Итог
robots.txt — это не один запрет на всех ботов ИИ. В случае Anthropic ботов три, и они решают разные задачи. Обучение закрывается отдельно от поиска. Тот, кто хочет остаться в ответах Claude, оставляет открытыми поискового и пользовательского ботов, а закрывает только обучающего. 63 из 569 сайтов этого не сделали и выпали из выдачи.
