agent-ready-ai-rules — скилл для Claude Code
Скилл agent-ready-ai-rules для Claude Code и Codex добавляет в robots.txt правила RFC 9309 для AI-поисковиков и обучающих ботов. Контролирует показ страниц в ответах AI-ассистентов и их использование для обучения.
Apache-2.0 ★ 141 обновлён 2026-10-29
npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a claude-codeЧто делает agent-ready-ai-rules
Скилл помогает настроить блоки User-agent для разных типов ботов. Поисковые краулеры (OAI-SearchBot, Claude-SearchBot, PerplexityBot) влияют на то, появитесь ли вы в AI-ответах. Обучающие краулеры (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Amazonbot) отвечают за включение контента в датасеты — блокировка их не влияет на поиск, но защищает от использования для обучения.
Если у вас есть Cloudflare, можно управлять этими правилами через AI Crawl Control прямо в дашборде, без редактирования файла. Для валидации используется API isitagentready.com: отправьте POST на https://isitagentready.com/api/scan и проверьте, что checks.botAccessControl.robotsTxtAiRules.status вернёт "pass".
Устанавливается одной командой в зависимости от платформы. После установки найдёте файл скилла в папке вашей IDE — откройте и следуйте инструкциям.
Какие задачи решает
- запретить AI-ботам индексировать сайт для поиска
- запретить обучающим ботам использовать контент для обучения моделей
- разрешить одни типы ботов и заблокировать другие
- валидировать robots.txt по стандарту RFC 9309
- управлять правилами через интерфейс вместо редактирования файла
Примеры запросов агенту
- Настрой robots.txt, чтобы заблокировать ClaudeBot от обучения, но позволить Claude-SearchBot искать страницы
- Добавь правила для поисковиков AI-ассистентов в robots.txt по RFC 9309
- Проверь, правильно ли я заблокировал GPTBot в robots.txt
Как установить agent-ready-ai-rules
1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a claude-code2Вручную: положить файлы
~/.claude/skills/ai-rules/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/ai-rules/
1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a codex2Вручную: положить файлы
.agents/skills/ai-rules/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a cursor2Вручную: положить файлы
.cursor/skills/ai-rules/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install fabricioctelles/skills skills/agent-ready-cloudflare/ai-rules2Вручную: положить файлы
.github/skills/ai-rules/SKILL.md1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-ai-rules -a gemini-cli2Командой платформы
gemini skills install https://github.com/fabricioctelles/skills --path skills/agent-ready-cloudflare/ai-rulesВручную: положить файлы
.devin/skills/ai-rules/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об agent-ready-ai-rules
Как установить agent-ready-ai-rules в Claude Code?
Выполните команду npx skills add fabricioctelles/skills --skill ai-rules -a claude-code, затем откройте ~/.claude/skills/ai-rules/SKILL.md и следуйте инструкциям в файле.
Что скилл делает с robots.txt?
Добавляет блоки User-agent для разных ботов: поисковых (OAI-SearchBot, Claude-SearchBot, PerplexityBot), обучающих (GPTBot, ClaudeBot и др.) и срабатывающих по запросу пользователя (ChatGPT-User, Claude-User). Вы сами выбираете, какие разрешить, какие запретить.
Зачем разделять поисковые и обучающие боты?
Блокировка обучающих ботов не влияет на то, появитесь ли в AI-поиске — это разные краулеры. Поисковики нужны для видимости, обучающие — для контроля над использованием контента в датасетах моделей.
Исходный текст
SKILL.md · Apache-2.0
---
name: agent-ready-ai-rules
description: >
Sub-skill de agent-ready-cloudflare: Implement AI Bot Rules in robots.txt
---
# Implement AI Bot Rules in robots.txt
Add explicit `User-agent` entries for AI crawlers in your robots.txt per
[RFC 9309](https://www.rfc-editor.org/rfc/rfc9309).
## Requirements
- Add `User-agent` blocks for AI search crawlers: `OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`. These fetch the pages AI assistants use in their answers, so blocking them affects whether you appear in AI answers
- Add `User-agent` blocks for AI training crawlers: `GPTBot`, `ClaudeBot`, `Google-Extended`, `Applebot-Extended`, `CCBot`, `Bytespider`, `Amazonbot`. Blocking these does not affect whether your pages appear in AI search results
- User-triggered fetchers (`ChatGPT-User`, `Claude-User`, `Perplexity-User`) retrieve pages when a user asks; some vendors do not apply robots.txt to them
- Set `Allow` and/or `Disallow` rules matching your content policy
- A `User-agent: *` group with rules also passes, but applies one policy to every crawler. Explicit entries let you treat search and training crawlers differently
## Cloudflare
[AI Crawl Control](https://developers.cloudflare.com/ai-crawl-control/)
lets you manage AI bot rules from the dashboard without editing robots.txt manually.
## Validate
```
POST https://isitagentready.com/api/scan
Content-Type: application/json
{"url": "https://YOUR-SITE.com"}
```
Check that `checks.botAccessControl.robotsTxtAiRules.status` is `"pass"`.
© fabricioctelles · Apache-2.0 · fabricioctelles/skills