# scrape

Скилл скачивает содержимое веб-страниц в формате Markdown через Bright Data Web Unlocker. Помогает обойти капчу и антибот-защиту.

- скилл · `type=skill` · Claude Code · 1002 установки
- Автор: davila7
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/web-data/scrape
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/scrape

## Что делает

Инструмент вызывает bash-скрипт `scripts/scrape.sh`, который задействует утилиту `curl` и отправляет запрос к сервису Web Unlocker. Сервис обрабатывает страницы с тяжёлым клиентским JavaScript, решает защитные капчи и возвращает структурированный Markdown с заголовками и текстом.

Без настроенных переменных окружения `BRIGHTDATA_API_KEY` и `BRIGHTDATA_UNLOCKER_ZONE` запросы завершатся ошибкой. Ключ и имя зоны разблокировщика создаются в панели управления на `brightdata.com/cp`. Других внешних зависимостей, кроме `curl`, скрипту не требуется.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill web-data/scrape
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill scrape -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/scrape/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/scrape/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/scrape/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/scrape/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates scrape
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/scrape/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/web-data/scrape
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/scrape/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/web-data/scrape

## Когда брать
- сохранить страницу в Markdown без лишней HTML-разметки
- обойти защиту от ботов и проверку капчи при выгрузке текста
- распарсить страницу с рендерингом на клиенте через JavaScript
- выгрузить данные карточки товара по прямой ссылке

## Примеры запросов агенту
- Собери в Markdown статью со страницы `https://example.com/article`
- Используй scrape, чтобы выгрузить описание товара с `https://shop.example.com/product/123`

## Похожие
- [agent-browser](https://affpapa.org/nevibecode/skills/vercel-labs-agent-browser.md) — скилл · 1200000 установок
- [webapp-testing](https://affpapa.org/nevibecode/skills/webapp-testing.md) — скилл · 186758 установок
- [computer-use](https://affpapa.org/nevibecode/skills/computer-use.md) — скилл · 239600 установок
- [browser-use](https://affpapa.org/nevibecode/skills/browser-use.md) — скилл · 98200 установок
- [playwright-cli](https://affpapa.org/nevibecode/skills/playwright-cli.md) — скилл · 195700 установок
- [last30days](https://affpapa.org/nevibecode/skills/last30days.md) — скилл · 53000 установок

## Другие версии с тем же именем
- [scrape · brightdata](https://affpapa.org/nevibecode/skills/brightdata-scrape.md) — 10800 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 495 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md