# scrape

Собирает содержимое веб-страниц в Markdown, HTML, JSON или снимок экрана через bdata scrape. Нужен для одной страницы, списка адресов и постраничных каталогов.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 10800 установок · ★ 268
- Автор: brightdata
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/brightdata/skills/tree/HEAD/skills/scrape/SKILL.md
- Обновлён: 2026-10-15
- HTML: https://affpapa.org/nevibecode/skills/brightdata-scrape

## Что делает

Скилл получает содержимое одной или нескольких веб-страниц через Bright Data CLI. Результат можно сохранить как Markdown, HTML, JSON или PNG-снимок; для адресов без готового списка он передаёт задачу в `search`, а для Amazon, LinkedIn, TikTok, Instagram, YouTube и Reddit — в `data-feeds`.

Перед запуском он проверяет, доступна ли команда `bdata` и выполнен ли вход. Затем проверяет, что файл не пустой, в выдаче нет признаков блокировки и присутствуют ожидаемые данные. Это повод сначала настроить Bright Data CLI, потому что при отсутствии авторизации сбор останавливается.

Для небольшого списка адресов скилл использует последовательный цикл, а для большого предлагает `xargs -P 4`. Он умеет проходить пагинацию, меняя `--country` при блокировке, и передаёт страницы с тяжёлым JavaScript в `bdata browser`.

## Требования
- Работает с: LinkedIn

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add brightdata/skills --skill scrape -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/scrape/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/scrape/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add brightdata/skills --skill scrape -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/scrape/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add brightdata/skills --skill scrape -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/scrape/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install brightdata/skills scrape
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/scrape/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add brightdata/skills --skill scrape -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/brightdata/skills --path skills/scrape
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/scrape/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add brightdata/skills --skill scrape -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/brightdata/skills/tree/HEAD/skills/scrape/SKILL.md

## Когда брать
- сохранить страницу в Markdown
- выгрузить DOM страницы в HTML
- получить разобранные поля в JSON
- обойти страницы постраничного каталога
- проверить результат на блокировку

## Примеры запросов агенту
- Собери эту страницу в Markdown и сохрани в `article.md` через `bdata scrape`.
- Выгрузи список страниц в JSON с ограничением параллельности `xargs -P 4`.
- Пройди постраничный каталог: найди следующую страницу и добавляй адреса в очередь.

## Похожие
- [just-scrape](https://affpapa.org/nevibecode/skills/just-scrape.md) — скилл · 245000 установок
- [firecrawl-build-scrape](https://affpapa.org/nevibecode/skills/firecrawl-build-scrape.md) — скилл · 61700 установок
- [apify-ultimate-scraper](https://affpapa.org/nevibecode/skills/apify-ultimate-scraper.md) — скилл · 16300 установок
- [firecrawl-company-directories](https://affpapa.org/nevibecode/skills/firecrawl-company-directories.md) — скилл · 31400 установок
- [linkedin-teneo](https://affpapa.org/nevibecode/skills/linkedin-teneo.md) — скилл · 511 установок
- [competitor-profiling](https://affpapa.org/nevibecode/skills/competitor-profiling.md) — скилл · 94600 установок

Из того же набора: [brightdata/skills](https://affpapa.org/nevibecode/by/brightdata/skills.md) — 7 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md