# revnu-ai-crawler-access

Скилл revnu-ai-crawler-access для Claude Code проверяет доступность сайта для поисковых и тренировочных роботов ИИ. Программа запускается на каждой целевой странице через встроенный скрипт Python без сторонних библиотек.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 3400 установок · ★ 3 у репозитория
- Автор: Revnu
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/revnu-app/revnu-plugin/tree/HEAD/skills/revnu-ai-crawler-access/SKILL.md
- Обновлён: 2026-11-05
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/revnu-ai-crawler-access

## Что делает

Скилл проверяет файлы `robots.txt`, серверные настройки, правила CDN и метатеги на страницах, чтобы выяснить, какие боты видят ресурс. Агент запускает скрипт `python3 scripts/check_ai_crawlers.py` для анализа URL и разделяет ботов на поисковые, тренировочные и пользовательские. Для работы скрипта нужен Python 3.8 и выше без дополнительных пакетов, а также доступ к проверяемому сайту.

Проверка анализирует заголовки ответов сервера вроде `server`, `cf-ray` или `x-vercel-id`, чтобы выдать точные инструкции для конкретной платформы хостинга. Скрипт отправляет запросы с агента и фиксирует коды ответа для каждого агента по имени. Результат помогает настроить допуск для поисковых систем без раскрытия закрытых разделов сайта.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add revnu-app/revnu-plugin --skill revnu-ai-crawler-access -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/revnu-ai-crawler-access/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/revnu-ai-crawler-access/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add revnu-app/revnu-plugin --skill revnu-ai-crawler-access -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/revnu-ai-crawler-access/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add revnu-app/revnu-plugin --skill revnu-ai-crawler-access -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/revnu-ai-crawler-access/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install revnu-app/revnu-plugin skills/revnu-ai-crawler-access
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/revnu-ai-crawler-access/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add revnu-app/revnu-plugin --skill revnu-ai-crawler-access -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/revnu-app/revnu-plugin --path skills/revnu-ai-crawler-access
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/revnu-ai-crawler-access/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add revnu-app/revnu-plugin --skill revnu-ai-crawler-access -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/revnu-app/revnu-plugin/tree/HEAD/skills/revnu-ai-crawler-access/SKILL.md

## Когда брать
- проверить доступность сайта для ChatGPT и Claude
- найти блокировки ботов в robots.txt
- отделить поисковых ботов от сборщиков обучающих данных
- диагностировать ошибки 403 и 503 для ИИ-краулеров

## Примеры запросов агенту
- Проверь, видит ли ChatGPT наш сайт
- Может ли Claude зайти на страницы сайта
- Посмотри robots.txt для ИИ-ботов

## Похожие
- [Open SEO Crawler](https://affpapa.org/nevibecode/mcp/open-seo-crawler.md) — MCP-сервер · ★ 88 у репозитория
- [web-crawler](https://affpapa.org/nevibecode/skills/web-crawler.md) — скилл · 4000 установок
- [agent-ready-cloudflare](https://affpapa.org/nevibecode/skills/agent-ready-cloudflare.md) — скилл · ★ 141 у репозитория
- [seo-technical](https://affpapa.org/nevibecode/skills/seo-technical.md) — скилл · 8400 установок
- [seo-agentic](https://affpapa.org/nevibecode/skills/seo-agentic.md) — скилл · 2000 установок
- [audit-website](https://affpapa.org/nevibecode/skills/audit-website.md) — скилл · 75200 установок

Из того же набора: [revnu-app/revnu-plugin](https://affpapa.org/nevibecode/by/revnu-app/revnu-plugin.md) — 15 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
