# spider

Скилл spider для Claude Code обходит страницы, собирает ссылки и данные, анализирует содержимое и проверяет сайт на признаки проблем безопасности. Разбирает отдельные страницы и карты сайта.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 209 установок · ★ 28 у репозитория
- Автор: johnlindquist
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/johnlindquist/claude/tree/HEAD/skills/spider/SKILL.md
- Обновлён: 2025-12-19
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/spider

## Что делает

Скилл использует `curl` для загрузки страниц и заголовков, поиска ссылок, извлечения текста и обхода нескольких URL. Он также описывает обработку sitemap, поиск API-адресов в JavaScript и отслеживание изменений страницы по контрольной сумме. Для простого сканирования достаточно команд оболочки.

Для анализа содержимого и проверки безопасности применяются запросы к Gemini через команду `gemini`. Нужны `google-generativeai` и переменная `GEMINI_API_KEY`; для более сложного разбора HTML перечислены `puppeteer` и `beautifulsoup4`. Без ключа Gemini эта часть анализа не запустится.

Проверка безопасности ищет проблемы в заголовках, формах, скриптах и настройках cookies, но результат зависит от переданного образца страницы. Перед обходом скилл советует учитывать `robots.txt`, ограничивать частоту запросов и проверять правила сайта.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add johnlindquist/claude --skill spider -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/spider/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/spider/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add johnlindquist/claude --skill spider -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/spider/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add johnlindquist/claude --skill spider -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/spider/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install johnlindquist/claude skills/spider
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/spider/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add johnlindquist/claude --skill spider -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/johnlindquist/claude --path skills/spider
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/spider/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add johnlindquist/claude --skill spider -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/johnlindquist/claude/tree/HEAD/skills/spider/SKILL.md

## Когда брать
- собрать ссылки и заголовки со страницы
- обойти URL из sitemap и извлечь заголовки страниц
- найти API-адреса в JavaScript
- проверить образец страницы на проблемы безопасности
- отследить изменения содержимого по контрольной сумме

## Примеры запросов агенту
- Просканируй страницу и собери заголовки, ссылки и подключённые скрипты.
- Разбери sitemap сайта и извлеки заголовки найденных страниц.
- Проверь HTML и заголовки сайта на проблемы безопасности.

## Похожие
- [Screaming Frog SEO Spider MCP Server (headless)](https://affpapa.org/nevibecode/mcp/screaming-frog-seo-spider-mcp-server-headless.md) — MCP-сервер · ★ 97 у репозитория
- [competitive-ads-extractor](https://affpapa.org/nevibecode/skills/competitive-ads-extractor.md) — скилл · 1091 установка
- [scrape](https://affpapa.org/nevibecode/skills/scrape.md) — скилл · 1002 установки
- [discovering-viral-youtube-videos-by-category](https://affpapa.org/nevibecode/skills/discovering-viral-youtube-videos-by-category.md) — скилл · 1000 установок
- [finding-instagram-creators-by-location](https://affpapa.org/nevibecode/skills/finding-instagram-creators-by-location.md) — скилл · 983 установки
- [he4rt-twitter-engagement-tracker](https://affpapa.org/nevibecode/skills/he4rt-twitter-engagement-tracker.md) — скилл · 876 установок

Из того же набора: [johnlindquist/claude](https://affpapa.org/nevibecode/by/johnlindquist/claude.md) — 7 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
