CRW Web Scraper — MCP-сервер для Claude Code: скрейпинг сайтов
Превращает страницы в markdown или JSON: скрейп, обход сайта, карта URL, поиск и извлечение полей. Ставится одной командой.
claude mcp add crw-web-scraper -- docker run -i --rm ghcr.io/fastcrw/crw:latestЧто делает CRW Web Scraper
Сервер даёт агенту пять операций: scrape одной страницы, crawl по ограниченному обходу сайта, map для списка URL без выкачивания каждой страницы, search по вебу с опциональным скрейпом результатов и extract структурированных полей из одной или нескольких ссылок. На выходе — markdown, HTML, ссылки, скриншоты или JSON по схеме.
Внутри — движок на Rust. Работает локально как небольшой бинарник, либо через управляемый API. Для локального режима аккаунт не нужен. Если берёте облако, ключ кладётся в ~/.config/crw/config.toml, а не распихивается по конфигам каждого инструмента. Установщик сам подхватывает Claude, Cursor, Codex, Gemini CLI, OpenCode и Windsurf, если они уже настроены; CRW_NO_AGENTS=1 пропускает этот шаг, а crw setup даёт выбрать вручную.
Для сборки из исходников нужен Rust 1.85 или новее. Локальный запуск идёт через Docker-образ ghcr.io/fastcrw/crw:latest — без Docker команда из установки не сработает. Лицензия AGPL-3.0, так что если встраиваете движок в свой продукт, условия лицензии придётся читать внимательно.
Какие задачи решает
- снять страницу в markdown для дальнейшего разбора
- собрать список URL раздела, не выкачивая каждую страницу
- обойти сайт по ограниченному числу страниц и сложить их в один набор
- вытащить структурированные поля из нескольких ссылок сразу
- найти в вебе материал по теме и сразу вытянуть выбранные результаты
Примеры запросов агенту
- Скрейпни
https://example.comи верни markdown - Собери карту URL для этого сайта, страницы не качай
- Найди материалы про async runtime в Rust и скрейпни первые три результата
Как установить CRW Web Scraper
Командой платформы
claude mcp add crw-web-scraper -- docker run -i --rm ghcr.io/fastcrw/crw:latestКомандой платформы
codex mcp add crw-web-scraper -- docker run -i --rm ghcr.io/fastcrw/crw:latestФайл настроек
{
"mcpServers": {
"crw-web-scraper": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"ghcr.io/fastcrw/crw:latest"
]
}
}
}Файл настроек
{
"servers": {
"crw-web-scraper": {
"type": "stdio",
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"ghcr.io/fastcrw/crw:latest"
]
}
}
}Командой платформы
gemini mcp add crw-web-scraper docker run -i --rm ghcr.io/fastcrw/crw:latestПо шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о CRW Web Scraper
Как установить CRW Web Scraper в Claude Code?
Выполните claude mcp add crw-web-scraper -- docker run -i --rm ghcr.io/fastcrw/crw:latest. Docker должен быть установлен и запущен.
Что делает CRW Web Scraper?
Даёт агенту скрейп страниц в markdown или JSON, обход сайта, карту URL, веб-поиск и извлечение структурированных полей.
Нужен ли ключ API для локального режима?
Нет. Локальный запуск бесплатный и без аккаунта. Ключ нужен только для управляемого API, и он хранится в ~/.config/crw/config.toml.
