# block-ai-scrapers

Скилл block-ai-scrapers для Claude Code и Codex защищает сайт от парсинга ИИ-агентами, сохраняя индексацию для поисковиков. Настраивает многоуровневую фильтрацию запросов на стороне сервера.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 565 установок · ★ 1797 у репозитория
- Автор: illyism
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/Illyism/seo-skills/tree/HEAD/seo/block-ai-scrapers/SKILL.md
- Обновлён: 2026-11-16
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/block-ai-scrapers

## Что делает

Этот инструмент блокирует доступ к данным для ИИ-агентов, браузеров и скриптов вроде `curl` или `Playwright`. Вместо возврата ошибок `403` или `429` система отдаёт «чистую» страницу без данных, одновременно направляя пользователя на указанную вами ссылку, например, на страницу вашего продукта.

Защита включает проверку IP-адресов и ASN для подтверждения `Googlebot` и блокировку запросов с облачных хостингов, которые часто используют боты. Настройка требует интеграции в логику вашего сервера, например, в Middleware для Next.js или Cloudflare Workers.

## Требования
- Работает с: Playwright

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Illyism/seo-skills --skill block-ai-scrapers -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/block-ai-scrapers/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/block-ai-scrapers/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Illyism/seo-skills --skill block-ai-scrapers -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/block-ai-scrapers/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Illyism/seo-skills --skill block-ai-scrapers -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/block-ai-scrapers/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Illyism/seo-skills seo/block-ai-scrapers/SKILL.md
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/block-ai-scrapers/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Illyism/seo-skills --skill block-ai-scrapers -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Illyism/seo-skills --path seo/block-ai-scrapers
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/block-ai-scrapers/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Illyism/seo-skills --skill block-ai-scrapers -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Illyism/seo-skills/tree/HEAD/seo/block-ai-scrapers/SKILL.md

## Когда брать
- остановить несанкционированный парсинг контента ИИ-агентами
- защитить API и базу данных от сбора данных
- настроить правила `robots.txt` для блокировки ботов
- сохранить индексацию сайта для `Googlebot`

## Примеры запросов агенту
- Настрой защиту от ботов, используя правила из block-ai-scrapers
- Создай заглушку для парсеров на `next.js`
- Проверь конфигурацию `robots.txt` для исключения ClaudeBot

## Похожие
- [nuxt-seo](https://affpapa.org/nevibecode/skills/nuxt-seo.md) — скилл · 3300 установок
- [site-audit](https://affpapa.org/nevibecode/skills/site-audit.md) — скилл · ★ 778 у репозитория
- [anti-detect-browser](https://affpapa.org/nevibecode/skills/anti-detect-browser.md) — скилл · 168800 установок
- [web-scraping](https://affpapa.org/nevibecode/skills/web-scraping.md) — скилл · 6300 установок
- [safe-browser](https://affpapa.org/nevibecode/skills/safe-browser.md) — скилл · 1800 установок
- [firecrawl-migration-deep-dive](https://affpapa.org/nevibecode/skills/firecrawl-migration-deep-dive.md) — скилл · 1 установка

Из того же набора: [illyism/seo-skills](https://affpapa.org/nevibecode/by/illyism/seo-skills.md) — 29 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
