К основному содержанию
скилл CX Codex

agent-ready-robots-txt — скилл для Claude Code: настройка robots.txt

Скилл agent-ready-robots-txt для Claude Code настраивает корректный по RFC 9309 robots.txt в корне сайта. Файл задаёт правила доступа ботов к контенту и ссылается на карту сайта, если она есть.

Apache-2.0 ★ 141 обновлён 2026-10-29

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a claude-code
Открыть на GitHub

Что делает agent-ready-robots-txt

Скилл настраивает robots.txt с директивами User-agent, правилами Allow и Disallow, а также ссылкой на sitemap.xml, если она есть. Файл должен отдаваться с Content-Type: text/plain и статусом HTTP 200 из корня домена.

Для Cloudflare доступен AI Crawl Control — встроенный инструмент панели управления, который может держать robots.txt и добавлять правила конкретно для AI-ботов. Скилл работает вместе с остальными частями agent-ready-cloudflare.

После установки проверь результат: отправь POST на https://isitagentready.com/api/scan с объектом {"url": "https://YOUR-SITE.com"} и убедись, что checks.discoverability.robotsTxt.status вернёт "pass".

Какие задачи решает

  • опубликовать robots.txt в корне сайта
  • добавить правила для поисковых и AI-ботов
  • указать путь до sitemap.xml
  • проверить, что robots.txt отдаётся с правильным типом контента

Примеры запросов агенту

  • Установи скилл agent-ready-robots-txt, чтобы агент мог настроить robots.txt
  • Попроси агента добавить в robots.txt правила для GPTBot и Googlebot
  • Проверь, что скилл корректно указал sitemap в robots.txt

Как установить agent-ready-robots-txt

1Через Skills CLI (Vercel)

npx skills add fabricioctelles/skills --skill agent-ready-robots-txt -a claude-code

2Вручную: положить файлы

~/.claude/skills/robots-txt/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/robots-txt/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об agent-ready-robots-txt

Как установить agent-ready-robots-txt в Claude Code?

Запусти npx skills add fabricioctelles/skills --skill robots-txt -a claude-code, затем открой ~/.claude/skills/robots-txt/SKILL.md. Для Codex используй npx skills add fabricioctelles/skills --skill robots-txt -a codex и .agents/skills/robots-txt/SKILL.md.

Что делает agent-ready-robots-txt?

Скилл помогает создать и опубликовать robots.txt согласно RFC 9309, с директивами User-agent, правилами Allow/Disallow и ссылкой на sitemap. Это стандартный способ управления доступом ботов к сайту.

Как проверить, что robots.txt работает?

Отправь POST-запрос на https://isitagentready.com/api/scan с JSON {"url": "https://YOUR-SITE.com"} и проверь, что поле checks.discoverability.robotsTxt.status содержит "pass".

Исходный текст

SKILL.md · Apache-2.0
---
name: agent-ready-robots-txt
description: >
  Sub-skill de agent-ready-cloudflare: Implement robots.txt
---
# Implement robots.txt

Publish a valid robots.txt at your site root per
[RFC 9309](https://www.rfc-editor.org/rfc/rfc9309).

## Requirements

- Serve `/robots.txt` as `text/plain` with HTTP 200
- Include `User-agent` directives with `Allow`/`Disallow` rules
- Reference your sitemap if one exists: `Sitemap: https://example.com/sitemap.xml`

## Cloudflare

[AI Crawl Control](https://developers.cloudflare.com/ai-crawl-control/)
can manage your robots.txt from the dashboard, including AI-specific bot rules.

## Validate

```
POST https://isitagentready.com/api/scan
Content-Type: application/json

{"url": "https://YOUR-SITE.com"}
```

Check that `checks.discoverability.robotsTxt.status` is `"pass"`.

© fabricioctelles · Apache-2.0 · fabricioctelles/skills

Похожие скиллы

Все скиллы по теме «SEO и GEO» →
robots-txt kostja94 Настраивает, аудирует и оптимизирует robots.txt. CX Codex +1 1 400установок DNS Lookup — A, MX, TXT, CNAME via Cloudflare DoH axel-belfort DNS Lookup — A, MX, TXT, CNAME via Cloudflare DoH — MCP-сервер для Claude Code, который запрашивает DNS-записи через Cloudflare DoH из чата с ИИ-ассистентом. Проверяет домены и записи почты. CX Codex +1 5 441установок llms-txt akii-technologies-ltd Создаёт и обновляет llms.txt и llms-full.txt для AI-краулеров. Запускается, когда нужно подготовить список важных страниц сайта для таких систем, как Perplexity или Claude. CX Codex +1 ★ 80звёзд репо seo-geo AgriciDaniel Скилл seo-geo проверяет готовность веб-страниц к цитированию в AI Overviews, Perplexity и ChatGPT Search. Помогает перестроить блоки ответов и выявить проблемы с доступом поисковых ботов. CX Codex +1 8 400установок seo-technical AgriciDaniel Скилл seo-technical проводит технический SEO-аудит сайта: обход, индексация, рендеринг и скорость. Нужен при проблемах с поисковыми роботами, картами сайта или мобильной версией. CX Codex +1 8 400установок revnu-ai-crawler-access Revnu Скилл revnu-ai-crawler-access для Claude Code проверяет доступность сайта для поисковых и тренировочных роботов ИИ. Программа запускается на каждой целевой странице через встроенный скрипт Python без сторонних библиотек. CX Codex +1 3 400установок

Из того же набора46

Весь набор →
agent-ready-sitemap Скилл agent-ready-sitemap для Claude Code добавляет и проверяет sitemap.xml для публичных страниц сайта. Настраивает обнаружение страниц поисковыми системами. CX Codex +1 ★ 141звёзд репо agent-ready-llms-txt Скилл agent-ready-llms-txt для Claude Code подготавливает файл /llms.txt на сайте с описанием структуры и содержания проекта для агентов и ИИ-моделей. CX Codex +1 ★ 141звёзд репо agent-ready-x402 Скилл agent-ready-x402 настраивает приём платежей по протоколу x402 для автономных агентов. Помогает внедрить мидлвар на Express, Hono или Next.js и отдавать код HTTP 402. CX Codex +1 ★ 141звёзд репо agent-ready-acp Скилл agent-ready-acp помогает опубликовать ACP discovery document, чтобы AI-агенты находили реализацию Agentic Commerce Protocol. CX Codex +1 ★ 141звёзд репо agent-ready-api-catalog Скилл agent-ready-api-catalog помогает развернуть каталог API по стандарту RFC 9727 для автоматического обнаружения эндпоинтов ИИ-агентами. CX Codex +1 ★ 141звёзд репо agent-ready-content-signals Скилл agent-ready-content-signals добавляет Content Signals в robots.txt, чтобы задать правила для AI-тренировки, поиска и передачи контента в AI. CX Codex +1 ★ 141звёзд репо agent-ready-mcp-server-card Скилл agent-ready-mcp-server-card для Claude Code помогает опубликовать MCP Server Card — JSON-файл для обнаружения MCP-сервера агентами. Задача — сделать развёрнутый MCP-сервер доступным для обнаружения. CX Codex +1 ★ 141звёзд репо agent-ready-a2a-agent-card Скилл agent-ready-a2a-agent-card для Claude Code настраивает карточку агента по протоколу A2A и публикует /.well-known/agent-card.json. Это позволяет другим агентам обнаруживать сервис. CX Codex +1 ★ 141звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой