# Browser Scraper

Управляет скрытным браузером через Chrome DevTools Protocol и отдаёт чистый Markdown. Помогает агенту обходить защиту от ботов и читать закрытый Shadow DOM.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 11
- Автор: eurafaeldecarvalho
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/eurafaeldecarvalho/browser-scraper
- Обновлён: 2026-10-18
- HTML: https://affpapa.org/nevibecode/mcp/browser-scraper

## Что делает

Агент подключается к реальному Chrome напрямую через протокол CDP без отправки маркера `Runtime.enable`. Сервер согласует параметры окружения и имитирует движения курсора. Он справляется с чекбоксами Cloudflare Turnstile. Сбор данных идёт поэтапно. Сначала уходит обычный HTTP-запрос, а браузер запускается только при блокировке.

Инструмент извлекает контент даже из закрытых Shadow DOM и сторонних `iframe`. На выходе агент получает Markdown или снимок доступности с интерактивными ссылками на элементы. Для ввода паролей используются подстановки `{{SECRET}}`, поэтому модель не видит секреты в открытом виде.

Для работы требуется Node.js от версии 20 и установленный Chrome. Без резидентного прокси защита по репутации IP сразу заблокирует запрос с сервера дата-центра. Графические капчи сервис самостоятельно не разгадывает.

## Требования
- Нужно: Node.js (команды через npx)

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add browser-scraper -- npx -y @eurafaeldecarvalho/browser-scraper
```

### Codex

**Командой платформы**
```bash
codex mcp add browser-scraper -- npx -y @eurafaeldecarvalho/browser-scraper
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "browser-scraper": {
            "command": "npx",
            "args": [
                "-y",
                "@eurafaeldecarvalho/browser-scraper"
            ]
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "browser-scraper": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "@eurafaeldecarvalho/browser-scraper"
            ]
        }
    }
}
```

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add browser-scraper npx -y @eurafaeldecarvalho/browser-scraper
```

## Когда брать
- Обойти блокировки ботов и проверку Cloudflare Turnstile
- Извлечь текст из страниц с закрытым Shadow DOM и сторонними iframe
- Получить чистый Markdown из веб-страницы без лишней разметки
- Передать агенту интерактивное дерево доступности для кликов по элементам

## Примеры запросов агенту
- Открой сайт документации через Browser Scraper и верни основной текст в Markdown.
- Пройди проверку Turnstile на целевой странице и покажи дерево доступности с элементами для клика.
- Собери данные со страницы, заглянув внутрь закрытого Shadow DOM.

## Похожие
- [agent-browser](https://affpapa.org/nevibecode/skills/brianlovin-agent-browser.md) — скилл · 2800 установок
- [dev-browser](https://affpapa.org/nevibecode/skills/dev-browser.md) — скилл · 2500 установок
- [qiaomu-opencli-browser](https://affpapa.org/nevibecode/skills/qiaomu-opencli-browser.md) — скилл · 1100 установок
- [Agent360 Browser MCP](https://affpapa.org/nevibecode/mcp/agent360-browser-mcp.md) — MCP-сервер · ★ 59
- [crawlio-browser](https://affpapa.org/nevibecode/mcp/crawlio-browser.md) — MCP-сервер · ★ 8
- [browser](https://affpapa.org/nevibecode/skills/browser.md) — скилл · 5900 установок

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md