WebReaper — MCP-сервер для Claude Code: что делает и как установить
WebReaper — MCP-сервер для Claude Code, который переводит страницы и целые сайты в чистый markdown по stdio. Забирает веб-данные для агента.
MIT ★ 153 обновлён 2026-10-04
Открыть на GitHubЧто делает WebReaper
webreaper делает три вещи из одного бинарника: scrape снимает страницу, map собирает список адресов, crawl обходит домен целиком и пишет JSON Lines. Готовый markdown уходит агенту по stdio, и Claude Code, Cursor или Codex видят обычный MCP-сервер.
Запрос начинается с HTTP. Если страница выглядит заблокированной, обход поднимается на Chromium, а потом на stealth-бэкенд CloakBrowser. Хост, на котором сработала защита, дальше стартует сразу с рабочего уровня. Страницу, которая не открылась и там, в данные не пишут, а прогон завершается с ненулевым кодом.
Поля вытаскивает JSON-схема (--schema) или модель без схемы. Второму режиму нужен свой OpenAI-совместимый эндпоинт и флаги --model и --llm-url — без них извлечение по промпту не пойдёт. Ставится через brew install alex-on-ai/webreaper/webreaper или install.sh, дальше webreaper init кладёт скилл в .claude/skills/webreaper/SKILL.md.
Какие задачи решает
- вытащить статью в markdown для контекста агента
- собрать список URL блога перед обходом
- пройти весь домен и получить JSON Lines
- достать название и цену товара по схеме
- снять страницу, которая отдаёт проверку на бота
Примеры запросов агенту
- Скрейпни https://example.com и сохрани в
page.md - Собери карту https://example.com с фильтром
/blog/, максимум 50 адресов - Пройди весь сайт https://example.com и вытащи название и цену каждого товара
Как установить WebReaper
Установка
Команды запуска нет в реестре MCP — смотрите README репозитория
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о WebReaper
Как установить WebReaper в Claude Code?
На macOS или Linux: brew install alex-on-ai/webreaper/webreaper, затем webreaper init. Второй шаг пишет скилл в .claude/skills/webreaper/SKILL.md, и следующая сессия Claude Code его подхватит.
Что делает WebReaper?
Снимает страницу или обходит сайт целиком и отдаёт результат в markdown по stdio. Команды scrape, map и crawl покрывают одну страницу, список адресов и весь домен.
Чем WebReaper отличается от Firecrawl?
Лицензией: у WebReaper MIT, у Firecrawl AGPL. Код на MIT можно встраивать в закрытый коммерческий продукт, не открывая свой исходник и не покупая коммерческую лицензию.