# ShadowCrawl

Подключает к агенту поиск и вытаскивание данных со страниц, включая сайты под Cloudflare, DataDome и LinkedIn.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed · ★ 70
- Автор: cortex-works
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/cortex-works/cortex-scout
- Обновлён: 2026-09-20
- HTML: https://affpapa.org/nevibecode/mcp/shadowcrawl

## Что делает

ShadowCrawl — это удалённый MCP-сервер, который даёт агенту инструменты `web_search`, `web_fetch` с режимами `single`, `batch` и `crawl`, а также `extract_fields` для структурированного извлечения полей. Отдельно идёт `deep_research` — многошаговый поиск с обходом страниц и сборкой результата, и `memory_search` для истории исследований.

Защиту от ботов сервер обходит через рендеринг в Chromium по CDP, ротацию прокси и повторные попытки с учётом блокировок. Если страница требует капчу или вход через OAuth, в дело вступает HITL: инструмент `visual_scout` и `hitl_web_fetch` с режимами `challenge` и `auth` открывают окно, где вы проходите проверку руками, а дальше сессия живёт в сохранённых cookies.

Автоматизация браузера собрана в один инструмент `scout_browser_automate`: агент передаёт массив шагов, а не дёргает десятки отдельных вызовов. Есть профиль `~/.cortex-scout/agent_profile`, моки маршрутов, трассировка, снимки состояния и работа с cookies и storage. Сервер удалённый, поэтому локально ничего собирать не нужно — достаточно адреса `https://shadowcrawl--devshero.run.tools` в конфиге MCP.

## Требования
- Удалённый сервер: `https://shadowcrawl--devshero.run.tools`

## Установка

### Claude Code (родная платформа)

**Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http shadow-crawl https://shadowcrawl--devshero.run.tools
```

### Codex

**Командой платформы: удалённый сервер**
```bash
codex mcp add shadowcrawl --url https://shadowcrawl--devshero.run.tools
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "shadowcrawl": {
            "url": "https://shadowcrawl--devshero.run.tools"
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "shadowcrawl": {
            "type": "http",
            "url": "https://shadowcrawl--devshero.run.tools"
        }
    }
}
```

### Gemini CLI

**Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http shadowcrawl https://shadowcrawl--devshero.run.tools
```

## Когда брать
- вытащить данные с сайта под Cloudflare или DataDome
- найти страницы по запросу и сразу забрать их содержимое
- пройти капчу или OAuth один раз и сохранить сессию
- собрать структурированные поля из HTML без ручного парсинга
- прогнать многошаговое исследование по нескольким источникам

## Примеры запросов агенту
- Найди через ShadowCrawl статьи про MCP-серверы и вытащи из них заголовки и даты
- Забери содержимое этой страницы под Cloudflare и верни текст статьи
- Открой страницу в браузере агента, пройди капчу и сохрани сессию

## Похожие
- [REA](https://affpapa.org/nevibecode/mcp/rea.md) — MCP-сервер · ★ 386989
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89433
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119160
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32221
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23263
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13169

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md