ShadowCrawl — MCP-сервер для Claude Code: скрапинг и поиск
Подключает к агенту поиск и вытаскивание данных со страниц, включая сайты под Cloudflare, DataDome и LinkedIn.
claude mcp add --transport http shadow-crawl https://shadowcrawl--devshero.run.toolsЧто делает ShadowCrawl
ShadowCrawl — это удалённый MCP-сервер, который даёт агенту инструменты web_search, web_fetch с режимами single, batch и crawl, а также extract_fields для структурированного извлечения полей. Отдельно идёт deep_research — многошаговый поиск с обходом страниц и сборкой результата, и memory_search для истории исследований.
Защиту от ботов сервер обходит через рендеринг в Chromium по CDP, ротацию прокси и повторные попытки с учётом блокировок. Если страница требует капчу или вход через OAuth, в дело вступает HITL: инструмент visual_scout и hitl_web_fetch с режимами challenge и auth открывают окно, где вы проходите проверку руками, а дальше сессия живёт в сохранённых cookies.
Автоматизация браузера собрана в один инструмент scout_browser_automate: агент передаёт массив шагов, а не дёргает десятки отдельных вызовов. Есть профиль ~/.cortex-scout/agent_profile, моки маршрутов, трассировка, снимки состояния и работа с cookies и storage. Сервер удалённый, поэтому локально ничего собирать не нужно — достаточно адреса https://shadowcrawl--devshero.run.tools в конфиге MCP.
Какие задачи решает
- вытащить данные с сайта под Cloudflare или DataDome
- найти страницы по запросу и сразу забрать их содержимое
- пройти капчу или OAuth один раз и сохранить сессию
- собрать структурированные поля из HTML без ручного парсинга
- прогнать многошаговое исследование по нескольким источникам
Примеры запросов агенту
- Найди через ShadowCrawl статьи про MCP-серверы и вытащи из них заголовки и даты
- Забери содержимое этой страницы под Cloudflare и верни текст статьи
- Открой страницу в браузере агента, пройди капчу и сохрани сессию
Как установить ShadowCrawl
Командой платформы: удалённый сервер
claude mcp add --transport http shadow-crawl https://shadowcrawl--devshero.run.toolsКомандой платформы: удалённый сервер
codex mcp add shadowcrawl --url https://shadowcrawl--devshero.run.toolsФайл настроек
{
"mcpServers": {
"shadowcrawl": {
"url": "https://shadowcrawl--devshero.run.tools"
}
}
}Файл настроек
{
"servers": {
"shadowcrawl": {
"type": "http",
"url": "https://shadowcrawl--devshero.run.tools"
}
}
}Командой платформы: удалённый сервер
gemini mcp add -t http shadowcrawl https://shadowcrawl--devshero.run.toolsПо шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о ShadowCrawl
Как установить ShadowCrawl в Claude Code?
Добавьте сервер командой claude mcp add --transport http shadowcrawl https://shadowcrawl--devshero.run.tools.
Что делает ShadowCrawl?
Даёт агенту поиск, загрузку и обход страниц, извлечение полей и автоматизацию браузера. Отдельно умеет обходить защиту от ботов и подключать вас для прохождения капчи.
Чем автоматизация браузера здесь отличается от Playwright MCP?
Разница в упаковке: все действия идут через один инструмент scout_browser_automate с массивом шагов, поэтому агент тратит меньше вызовов на многошаговый сценарий.
