К основному содержанию
скилл CX Codex

agent-ready-ai-rules — скилл для Claude Code

Скилл agent-ready-ai-rules для Claude Code и Codex добавляет в robots.txt правила RFC 9309 для AI-поисковиков и обучающих ботов. Контролирует показ страниц в ответах AI-ассистентов и их использование для обучения.

Apache-2.0 ★ 141 обновлён 2026-10-29

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a claude-code
Открыть на GitHub

Что делает agent-ready-ai-rules

Скилл помогает настроить блоки User-agent для разных типов ботов. Поисковые краулеры (OAI-SearchBot, Claude-SearchBot, PerplexityBot) влияют на то, появитесь ли вы в AI-ответах. Обучающие краулеры (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Amazonbot) отвечают за включение контента в датасеты — блокировка их не влияет на поиск, но защищает от использования для обучения.

Если у вас есть Cloudflare, можно управлять этими правилами через AI Crawl Control прямо в дашборде, без редактирования файла. Для валидации используется API isitagentready.com: отправьте POST на https://isitagentready.com/api/scan и проверьте, что checks.botAccessControl.robotsTxtAiRules.status вернёт "pass".

Устанавливается одной командой в зависимости от платформы. После установки найдёте файл скилла в папке вашей IDE — откройте и следуйте инструкциям.

Какие задачи решает

  • запретить AI-ботам индексировать сайт для поиска
  • запретить обучающим ботам использовать контент для обучения моделей
  • разрешить одни типы ботов и заблокировать другие
  • валидировать robots.txt по стандарту RFC 9309
  • управлять правилами через интерфейс вместо редактирования файла

Примеры запросов агенту

  • Настрой robots.txt, чтобы заблокировать ClaudeBot от обучения, но позволить Claude-SearchBot искать страницы
  • Добавь правила для поисковиков AI-ассистентов в robots.txt по RFC 9309
  • Проверь, правильно ли я заблокировал GPTBot в robots.txt

Как установить agent-ready-ai-rules

1Через Skills CLI (Vercel)

npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a claude-code

2Вручную: положить файлы

~/.claude/skills/ai-rules/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/ai-rules/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об agent-ready-ai-rules

Как установить agent-ready-ai-rules в Claude Code?

Выполните команду npx skills add fabricioctelles/skills --skill ai-rules -a claude-code, затем откройте ~/.claude/skills/ai-rules/SKILL.md и следуйте инструкциям в файле.

Что скилл делает с robots.txt?

Добавляет блоки User-agent для разных ботов: поисковых (OAI-SearchBot, Claude-SearchBot, PerplexityBot), обучающих (GPTBot, ClaudeBot и др.) и срабатывающих по запросу пользователя (ChatGPT-User, Claude-User). Вы сами выбираете, какие разрешить, какие запретить.

Зачем разделять поисковые и обучающие боты?

Блокировка обучающих ботов не влияет на то, появитесь ли в AI-поиске — это разные краулеры. Поисковики нужны для видимости, обучающие — для контроля над использованием контента в датасетах моделей.

Исходный текст

SKILL.md · Apache-2.0
---
name: agent-ready-ai-rules
description: >
  Sub-skill de agent-ready-cloudflare: Implement AI Bot Rules in robots.txt
---
# Implement AI Bot Rules in robots.txt

Add explicit `User-agent` entries for AI crawlers in your robots.txt per
[RFC 9309](https://www.rfc-editor.org/rfc/rfc9309).

## Requirements

- Add `User-agent` blocks for AI search crawlers: `OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`. These fetch the pages AI assistants use in their answers, so blocking them affects whether you appear in AI answers
- Add `User-agent` blocks for AI training crawlers: `GPTBot`, `ClaudeBot`, `Google-Extended`, `Applebot-Extended`, `CCBot`, `Bytespider`, `Amazonbot`. Blocking these does not affect whether your pages appear in AI search results
- User-triggered fetchers (`ChatGPT-User`, `Claude-User`, `Perplexity-User`) retrieve pages when a user asks; some vendors do not apply robots.txt to them
- Set `Allow` and/or `Disallow` rules matching your content policy
- A `User-agent: *` group with rules also passes, but applies one policy to every crawler. Explicit entries let you treat search and training crawlers differently

## Cloudflare

[AI Crawl Control](https://developers.cloudflare.com/ai-crawl-control/)
lets you manage AI bot rules from the dashboard without editing robots.txt manually.

## Validate

```
POST https://isitagentready.com/api/scan
Content-Type: application/json

{"url": "https://YOUR-SITE.com"}
```

Check that `checks.botAccessControl.robotsTxtAiRules.status` is `"pass"`.

© fabricioctelles · Apache-2.0 · fabricioctelles/skills

Похожие скиллы

Все скиллы по теме «Безопасность» →
robots-txt kostja94 Настраивает, аудирует и оптимизирует robots.txt. CX Codex +1 1 400установок geo-crawlers zubair-trabzada Скилл geo-crawlers проверяет robots.txt, метатеги и HTTP-заголовки сайта на доступность поисковым ИИ-ботам. Помогает настроить индексацию для генеративного поиска. CX Codex +1 1 000установок seo-technical AgriciDaniel Скилл seo-technical проводит технический SEO-аудит сайта: обход, индексация, рендеринг и скорость. Нужен при проблемах с поисковыми роботами, картами сайта или мобильной версией. CX Codex +1 8 400установок revnu-ai-crawler-access Revnu Скилл revnu-ai-crawler-access для Claude Code проверяет доступность сайта для поисковых и тренировочных роботов ИИ. Программа запускается на каждой целевой странице через встроенный скрипт Python без сторонних библиотек. CX Codex +1 3 400установок seo-agentic AgriciDaniel Скилл seo-agentic для Claude Code проверяет готовность сайта к действиям и навигации ИИ-агентов. Аудитирует llms.txt, WebMCP, robots.txt и доступность страниц. CX Codex +1 2 000установок Agent Ready Kit (free) lmno100 Agent Ready Kit (free) — MCP-сервер для Claude Code, который проверяет готовность сайта к работе с ИИ-агентами: сканирует robots.txt, llms.txt, карты MCP-серверов, OAuth и другие протоколы. CX Codex +1 1 239установок

Из того же набора46

Весь набор →
agent-ready-oauth-protected-resource Скилл agent-ready-oauth-protected-resource публикует OAuth Protected Resource Metadata для обнаружения способа аутентификации агентами. Нужен при настройке защищённого ресурса на Cloudflare. CX Codex +1 ★ 141звёзд репо agent-ready-link-headers Скилл agent-ready-link-headers для Claude Code добавляет Link-заголовки ответов на главную страницу сайта. ИИ-агенты автоматически обнаруживают API и документацию. CX Codex +1 ★ 141звёзд репо agent-ready-markdown-negotiation Скилл agent-ready-markdown-negotiation настраивает согласование контента по заголовку Accept: text/markdown, отдавая агентам лёгкие Markdown-версии веб-страниц вместо HTML. CX Codex +1 ★ 141звёзд репо agent-ready-webmcp Скилл agent-ready-webmcp добавляет в сайт поддержку WebMCP API, чтобы браузерные ИИ-агенты видели и вызывали его функции. CX Codex +1 ★ 141звёзд репо agent-ready-mpp Скилл agent-ready-mpp помогает внедрить Machine Payment Protocol (MPP) в OpenAPI, добавляя разметку x-payment-info для платных эндпоинтов вашего API. CX Codex +1 ★ 141звёзд репо agent-ready-dns-aid Скилл agent-ready-dns-aid для Claude Code публикует DNS-AID-записи, чтобы агенты находили endpoint через DNS. Настраивает SVCB или HTTPS-записи в пространстве _agents. CX Codex +1 ★ 141звёзд репо agent-ready-personal-agent-protocol Скилл agent-ready-personal-agent-protocol публикует метаданные Personal Agent Protocol (Poppy) черновика 0.1 по адресу /.well-known/poppy.json и проверяет привязку OAuth issuer. CX Codex +1 ★ 141звёзд репо agent-ready-auth-md Скилл agent-ready-auth-md публикует для сервиса документ auth.md и метаданные OAuth, чтобы агенты находили способ регистрации. Включается, когда сканер отмечает проверку authMd как неуспешную. CX Codex +1 ★ 141звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой