К основному содержанию
MCP-сервер CX Codex

WebReaper — MCP-сервер для Claude Code: что делает и как установить

WebReaper — MCP-сервер для Claude Code, который переводит страницы и целые сайты в чистый markdown по stdio. Забирает веб-данные для агента.

MIT ★ 153 обновлён 2026-10-04

Открыть на GitHub

Что делает WebReaper

webreaper делает три вещи из одного бинарника: scrape снимает страницу, map собирает список адресов, crawl обходит домен целиком и пишет JSON Lines. Готовый markdown уходит агенту по stdio, и Claude Code, Cursor или Codex видят обычный MCP-сервер.

Запрос начинается с HTTP. Если страница выглядит заблокированной, обход поднимается на Chromium, а потом на stealth-бэкенд CloakBrowser. Хост, на котором сработала защита, дальше стартует сразу с рабочего уровня. Страницу, которая не открылась и там, в данные не пишут, а прогон завершается с ненулевым кодом.

Поля вытаскивает JSON-схема (--schema) или модель без схемы. Второму режиму нужен свой OpenAI-совместимый эндпоинт и флаги --model и --llm-url — без них извлечение по промпту не пойдёт. Ставится через brew install alex-on-ai/webreaper/webreaper или install.sh, дальше webreaper init кладёт скилл в .claude/skills/webreaper/SKILL.md.

Какие задачи решает

  • вытащить статью в markdown для контекста агента
  • собрать список URL блога перед обходом
  • пройти весь домен и получить JSON Lines
  • достать название и цену товара по схеме
  • снять страницу, которая отдаёт проверку на бота

Примеры запросов агенту

  • Скрейпни https://example.com и сохрани в page.md
  • Собери карту https://example.com с фильтром /blog/, максимум 50 адресов
  • Пройди весь сайт https://example.com и вытащи название и цену каждого товара

Как установить WebReaper

Установка

Команды запуска нет в реестре MCP — смотрите README репозитория

По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие

Вопросы о WebReaper

Как установить WebReaper в Claude Code?

На macOS или Linux: brew install alex-on-ai/webreaper/webreaper, затем webreaper init. Второй шаг пишет скилл в .claude/skills/webreaper/SKILL.md, и следующая сессия Claude Code его подхватит.

Что делает WebReaper?

Снимает страницу или обходит сайт целиком и отдаёт результат в markdown по stdio. Команды scrape, map и crawl покрывают одну страницу, список адресов и весь домен.

Чем WebReaper отличается от Firecrawl?

Лицензией: у WebReaper MIT, у Firecrawl AGPL. Код на MIT можно встраивать в закрытый коммерческий продукт, не открывая свой исходник и не покупая коммерческую лицензию.

Похожие MCP-серверы

Все MCP-серверы по теме «Браузер и парсинг» →
tavily-crawl tavily-ai Скилл tavily-crawl для обхода сайтов и выгрузки документации через CLI Tavily. Сохраняет страницы в Markdown или возвращает релевантные фрагменты для контекста модели. CX Codex +1 17 900установок Firecrawl MCP Server firecrawl Превращает веб-страницы в Markdown или JSON, ищет данные в сети и обходит сайты через API Firecrawl. Помогает агентам читать документацию и заполнять формы в браузере. CX Codex +1 ★ 7 877звёзд репо Atlas Web Compiler & Scraper Atlas-Compiler MCP-сервер Atlas Web Compiler & Scraper для детерминированного разбора веб-страниц в чистый markdown, обхода сайтов и пакетной компиляции без участия LLM. CX Codex +1 ★ 1звёзд репо Firecrawl mendableai MCP-сервер подключает агентов к Firecrawl для поиска в вебе, скачивания страниц в Markdown или JSON и обхода сайтов. CX Codex +1 SnoopScan SnoopScan MCP-сервер SnoopScan для Claude Code превращает веб-страницы в чистый Markdown или структурированный JSON прямо в диалоге с агентом. Собирает данные с сайтов и обходит блокировки. CX Codex +1 pp-firecrawl Hiten Shah Скилл pp-firecrawl управляет парсингом, краулингом и извлечением данных через Firecrawl CLI. Запускает поиск, сбор страниц и генерацию файлов LLMs.txt. CX Codex +1 641установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой