# web-scraping

Скилл web-scraping для Claude Code собирает данные с сайтов в Markdown, CSV или JSON. Используется при запросах на извлечение информации и отслеживание изменений на страницах.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, Windsurf (Devin Desktop), Claude.ai · ★ 285 у репозитория
- Автор: makushingu
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/makushingu/harness-maxxing/tree/HEAD/skills/web-scraping/SKILL.md
- Обновлён: 2026-11-17
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/makushingu-web-scraping

## Что делает

Инструмент выгружает контент со статических и JavaScript-страниц, работая через три уровня глубины извлечения. Простые страницы обрабатываются стандартным `Fetcher`, динамический контент — через `DynamicFetcher` на базе Chromium, а защищённые ресурсы — с помощью `StealthyFetcher`. Для работы требуется установленный на сервере пакет `scrapling`.

При написании скриптов используйте `css`-селекторы или `xpath`. Рекомендуется сначала анализировать структуру страницы, выгрузив HTML через `scrapling extract get URL page.html`. Собранные файлы сохраняйте в папку `data/`. При автоматизации мониторинга через `maxxing-cron` скрипт сравнивает текущие данные с последним сохранённым состоянием.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add makushingu/harness-maxxing --skill web-scraping -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/web-scraping/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/web-scraping/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add makushingu/harness-maxxing --skill web-scraping -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/web-scraping/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add makushingu/harness-maxxing --skill web-scraping -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/web-scraping/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install makushingu/harness-maxxing skills/web-scraping
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/web-scraping/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add makushingu/harness-maxxing --skill web-scraping -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/makushingu/harness-maxxing --path skills/web-scraping
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/web-scraping/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/makushingu/harness-maxxing/tree/HEAD/skills/web-scraping/SKILL.md

## Когда брать
- Извлечь прайс-лист из каталога товаров в CSV
- Преобразовать контент статьи в читаемый Markdown
- Настроить мониторинг изменений цен на странице

## Примеры запросов агенту
- Собери данные со страницы example.com и сохрани в `data/items.csv`
- Вытащи заголовки и цены с сайта, используя `DynamicFetcher`
- Настрой проверку обновлений на example.com и оповести об изменениях

## Похожие
- [universal-scraping-architect](https://affpapa.org/nevibecode/plugins/universal-scraping-architect.md) — плагин · ★ 30251 у репозитория
- [scrapy-web-scraping](https://affpapa.org/nevibecode/skills/scrapy-web-scraping.md) — скилл · 2100 установок
- [brightdata-web-mcp](https://affpapa.org/nevibecode/skills/brightdata-web-mcp.md) — скилл · ★ 42059 у репозитория
- [scraping-twitter-profiles](https://affpapa.org/nevibecode/skills/scraping-twitter-profiles.md) — скилл · 930 установок
- [web-crawler](https://affpapa.org/nevibecode/skills/web-crawler.md) — скилл · 4000 установок
- [Atlas Web Compiler & Scraper](https://affpapa.org/nevibecode/mcp/atlas-web-compiler-scraper.md) — MCP-сервер · ★ 1 у репозитория

## Другие версии с тем же именем
- [web-scraping · jamditis](https://affpapa.org/nevibecode/skills/web-scraping.md) — 6300 установок
- [web-scraping · mindrally](https://affpapa.org/nevibecode/skills/mindrally-web-scraping.md) — 4500 установок

Из того же набора: [makushingu/harness-maxxing](https://affpapa.org/nevibecode/by/makushingu/harness-maxxing.md) — 21 карточка

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
