# WebReaper

WebReaper — MCP-сервер для Claude Code, который переводит страницы и целые сайты в чистый markdown по stdio. Забирает веб-данные для агента.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed · ★ 153 у репозитория
- Автор: alex-on-ai
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/alex-on-ai/WebReaper
- Обновлён: 2026-10-04
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — внимание: команда скачивает скрипт с raw.githubusercontent.com и сразу его запускает. Без явного «да» человека такие команды не запускай.
- HTML: https://affpapa.org/nevibecode/mcp/webreaper

## Что делает

\`webreaper` делает три вещи из одного бинарника: `scrape` снимает страницу, `map` собирает список адресов, `crawl` обходит домен целиком и пишет JSON Lines. Готовый markdown уходит агенту по stdio, и Claude Code, Cursor или Codex видят обычный MCP-сервер.

Запрос начинается с HTTP. Если страница выглядит заблокированной, обход поднимается на Chromium, а потом на stealth-бэкенд CloakBrowser. Хост, на котором сработала защита, дальше стартует сразу с рабочего уровня. Страницу, которая не открылась и там, в данные не пишут, а прогон завершается с ненулевым кодом.

Поля вытаскивает JSON-схема (`--schema`) или модель без схемы. Второму режиму нужен свой OpenAI-совместимый эндпоинт и флаги `--model` и `--llm-url` — без них извлечение по промпту не пойдёт. Ставится через `brew install alex-on-ai/webreaper/webreaper` или install.sh, дальше `webreaper init` кладёт скилл в `.claude/skills/webreaper/SKILL.md`.

## Установка

### Claude Code (родная платформа)

**Установка**
- Команды запуска нет в реестре MCP — смотрите README репозитория

## Когда брать
- вытащить статью в markdown для контекста агента
- собрать список URL блога перед обходом
- пройти весь домен и получить JSON Lines
- достать название и цену товара по схеме
- снять страницу, которая отдаёт проверку на бота

## Примеры запросов агенту
- Скрейпни https://example.com и сохрани в `page.md`
- Собери карту https://example.com с фильтром `/blog/`, максимум 50 адресов
- Пройди весь сайт https://example.com и вытащи название и цену каждого товара

## Похожие
- [tavily-crawl](https://affpapa.org/nevibecode/skills/tavily-crawl.md) — скилл · 17900 установок
- [Firecrawl MCP Server](https://affpapa.org/nevibecode/mcp/firecrawl-mcp-server.md) — MCP-сервер · ★ 7877 у репозитория
- [Atlas Web Compiler & Scraper](https://affpapa.org/nevibecode/mcp/atlas-web-compiler-scraper.md) — MCP-сервер · ★ 1 у репозитория
- [Firecrawl](https://affpapa.org/nevibecode/mcp/firecrawl.md) — MCP-сервер
- [SnoopScan](https://affpapa.org/nevibecode/mcp/snoopscan.md) — MCP-сервер
- [pp-firecrawl](https://affpapa.org/nevibecode/skills/pp-firecrawl.md) — скилл · 641 установка

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
