# BrightData

Скилл достаёт содержимое веб-страниц в markdown, поднимаясь от curl через браузер до Bright Data только там, где нужно. Умеет краулить целые сайты.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · ★ 19959 у репозитория
- Автор: danielmiessler
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/danielmiessler/LifeOS/tree/HEAD/LifeOS/install/skills/BrightData/SKILL.md
- Обновлён: 2026-10-28
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/brightdata

## Что делает

Скилл пробует четыре способа получить страницу: голый `curl`, запрос с заголовками, реальный Chrome через Interceptor и управляемый прокси Bright Data. Каждая страница поднимается только до того уровня, который ей нужен, и всегда в рамках `robots.txt` целевого сайта. Для одного URL работает режим FourTierScrape, для целого домена — Crawl, который обходит все страницы раздела и отдаёт карту, содержимое и статистику. Блок-страница или CAPTCHA останавливают скилл с отчётом, обход защиты не предусмотрен.

Три первых уровня бесплатны: `curl`, `curl` с `User-Agent` и `Accept`, Chrome. Четвёртый — MCP-сервер Bright Data — тратит кредиты, поэтому включается только когда бесплатные провалились или пользователь просит явно. Для полного краула сайта нужны переменные окружения `BRIGHT_DATA_API_KEY` и `BRIGHT_DATA_CRAWL_DATASET_ID` в `~/.claude/.env`; скилл проверяет их наличие перед платным вызовом и останавливается с сообщением, если чего-то нет. Tier 4 медленнее бесплатных — до 15 секунд на страницу.

Предчек Cloudflare `Accept: text/markdown` запускается перед первым уровнем, чтобы сразу определить, отдаёт ли сервер готовый markdown. Если домен уже провалился на Tier 1 с таймаутом, следующий запрос к нему начинается с Tier 2. Вывод — всегда markdown с меткой уровня, который его добыл.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add danielmiessler/LifeOS --skill brightdata -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/BrightData/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/BrightData/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add danielmiessler/LifeOS --skill brightdata -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/BrightData/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add danielmiessler/LifeOS --skill brightdata -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/BrightData/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install danielmiessler/LifeOS LifeOS/install/skills/BrightData
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/BrightData/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add danielmiessler/LifeOS --skill brightdata -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/danielmiessler/LifeOS --path LifeOS/install/skills/BrightData
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/BrightData/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add danielmiessler/LifeOS --skill brightdata -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/danielmiessler/LifeOS/tree/HEAD/LifeOS/install/skills/BrightData/SKILL.md

## Когда брать
- достать страницу с JavaScript-рендерингом через браузер
- обойти сайт целиком и собрать карту с содержимым
- получить регионально-специфичный контент через управляемый прокси
- конвертировать URL в markdown без ручного копирования
- проверить доступность платных уровней перед дорогим вызовом

## Примеры запросов агенту
- Достань страницу `docs.example.com/api/auth` в markdown
- Обойди сайт `help.product.io/guides/` и собери все подстраницы
- Используй Bright Data, чтобы забрать эту региональную страницу

## Похожие
- [brightdata-plugin](https://affpapa.org/nevibecode/plugins/brightdata-plugin.md) — плагин · ★ 272 у репозитория
- [brightdata-mcp](https://affpapa.org/nevibecode/skills/brightdata-mcp.md) — скилл · 184 установки
- [brightdata-local-search](https://affpapa.org/nevibecode/skills/brightdata-local-search.md) — скилл · 625 установок
- [save-md](https://affpapa.org/nevibecode/skills/save-md.md) — скилл · 367 установок
- [nodriver — Chrome browser automation](https://affpapa.org/nevibecode/mcp/nodriver-chrome-browser-automation.md) — MCP-сервер · ★ 8 у репозитория
- [CloudBrowser](https://affpapa.org/nevibecode/mcp/cloudbrowser.md) — MCP-сервер

Из того же набора: [danielmiessler/lifeos](https://affpapa.org/nevibecode/by/danielmiessler/lifeos.md) — 3 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
