agent-ready-robots-txt — скилл для Claude Code: настройка robots.txt
Скилл agent-ready-robots-txt для Claude Code настраивает корректный по RFC 9309 robots.txt в корне сайта. Файл задаёт правила доступа ботов к контенту и ссылается на карту сайта, если она есть.
Apache-2.0 ★ 141 обновлён 2026-10-29
npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a claude-codeЧто делает agent-ready-robots-txt
Скилл настраивает robots.txt с директивами User-agent, правилами Allow и Disallow, а также ссылкой на sitemap.xml, если она есть. Файл должен отдаваться с Content-Type: text/plain и статусом HTTP 200 из корня домена.
Для Cloudflare доступен AI Crawl Control — встроенный инструмент панели управления, который может держать robots.txt и добавлять правила конкретно для AI-ботов. Скилл работает вместе с остальными частями agent-ready-cloudflare.
После установки проверь результат: отправь POST на https://isitagentready.com/api/scan с объектом {"url": "https://YOUR-SITE.com"} и убедись, что checks.discoverability.robotsTxt.status вернёт "pass".
Какие задачи решает
- опубликовать robots.txt в корне сайта
- добавить правила для поисковых и AI-ботов
- указать путь до sitemap.xml
- проверить, что robots.txt отдаётся с правильным типом контента
Примеры запросов агенту
- Установи скилл agent-ready-robots-txt, чтобы агент мог настроить robots.txt
- Попроси агента добавить в robots.txt правила для GPTBot и Googlebot
- Проверь, что скилл корректно указал sitemap в robots.txt
Как установить agent-ready-robots-txt
1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a claude-code2Вручную: положить файлы
~/.claude/skills/robots-txt/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/robots-txt/
1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a codex2Вручную: положить файлы
.agents/skills/robots-txt/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a cursor2Вручную: положить файлы
.cursor/skills/robots-txt/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install fabricioctelles/skills skills/agent-ready-cloudflare/robots-txt2Вручную: положить файлы
.github/skills/robots-txt/SKILL.md1Через Skills CLI (Vercel)
npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a gemini-cli2Командой платформы
gemini skills install https://github.com/fabricioctelles/skills --path skills/agent-ready-cloudflare/robots-txtВручную: положить файлы
.devin/skills/robots-txt/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об agent-ready-robots-txt
Как установить agent-ready-robots-txt в Claude Code?
Запусти npx skills add fabricioctelles/skills --skill robots-txt -a claude-code, затем открой ~/.claude/skills/robots-txt/SKILL.md. Для Codex используй npx skills add fabricioctelles/skills --skill robots-txt -a codex и .agents/skills/robots-txt/SKILL.md.
Что делает agent-ready-robots-txt?
Скилл помогает создать и опубликовать robots.txt согласно RFC 9309, с директивами User-agent, правилами Allow/Disallow и ссылкой на sitemap. Это стандартный способ управления доступом ботов к сайту.
Как проверить, что robots.txt работает?
Отправь POST-запрос на https://isitagentready.com/api/scan с JSON {"url": "https://YOUR-SITE.com"} и проверь, что поле checks.discoverability.robotsTxt.status содержит "pass".
Исходный текст
SKILL.md · Apache-2.0
---
name: agent-ready-robots-txt
description: >
Sub-skill de agent-ready-cloudflare: Implement robots.txt
---
# Implement robots.txt
Publish a valid robots.txt at your site root per
[RFC 9309](https://www.rfc-editor.org/rfc/rfc9309).
## Requirements
- Serve `/robots.txt` as `text/plain` with HTTP 200
- Include `User-agent` directives with `Allow`/`Disallow` rules
- Reference your sitemap if one exists: `Sitemap: https://example.com/sitemap.xml`
## Cloudflare
[AI Crawl Control](https://developers.cloudflare.com/ai-crawl-control/)
can manage your robots.txt from the dashboard, including AI-specific bot rules.
## Validate
```
POST https://isitagentready.com/api/scan
Content-Type: application/json
{"url": "https://YOUR-SITE.com"}
```
Check that `checks.discoverability.robotsTxt.status` is `"pass"`.
© fabricioctelles · Apache-2.0 · fabricioctelles/skills