# CRW Web Scraper

Превращает страницы в markdown или JSON: скрейп, обход сайта, карта URL, поиск и извлечение полей. Ставится одной командой.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 1173
- Автор: fastcrw
- Лицензия: AGPL-3.0 · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/fastcrw/crw
- Обновлён: 2026-10-21
- HTML: https://affpapa.org/nevibecode/mcp/crw-web-scraper

## Что делает

Сервер даёт агенту пять операций: scrape одной страницы, crawl по ограниченному обходу сайта, map для списка URL без выкачивания каждой страницы, search по вебу с опциональным скрейпом результатов и extract структурированных полей из одной или нескольких ссылок. На выходе — markdown, HTML, ссылки, скриншоты или JSON по схеме.

Внутри — движок на Rust. Работает локально как небольшой бинарник, либо через управляемый API. Для локального режима аккаунт не нужен. Если берёте облако, ключ кладётся в `~/.config/crw/config.toml`, а не распихивается по конфигам каждого инструмента. Установщик сам подхватывает Claude, Cursor, Codex, Gemini CLI, OpenCode и Windsurf, если они уже настроены; `CRW_NO_AGENTS=1` пропускает этот шаг, а `crw setup` даёт выбрать вручную.

Для сборки из исходников нужен Rust 1.85 или новее. Локальный запуск идёт через Docker-образ `ghcr.io/fastcrw/crw:latest` — без Docker команда из установки не сработает. Лицензия AGPL-3.0, так что если встраиваете движок в свой продукт, условия лицензии придётся читать внимательно.

## Требования
- Нужно: Docker

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add crw-web-scraper -- docker run -i --rm ghcr.io/fastcrw/crw:latest
```

### Codex

**Командой платформы**
```bash
codex mcp add crw-web-scraper -- docker run -i --rm ghcr.io/fastcrw/crw:latest
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "crw-web-scraper": {
            "command": "docker",
            "args": [
                "run",
                "-i",
                "--rm",
                "ghcr.io/fastcrw/crw:latest"
            ]
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "crw-web-scraper": {
            "type": "stdio",
            "command": "docker",
            "args": [
                "run",
                "-i",
                "--rm",
                "ghcr.io/fastcrw/crw:latest"
            ]
        }
    }
}
```

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add crw-web-scraper docker run -i --rm ghcr.io/fastcrw/crw:latest
```

## Когда брать
- снять страницу в markdown для дальнейшего разбора
- собрать список URL раздела, не выкачивая каждую страницу
- обойти сайт по ограниченному числу страниц и сложить их в один набор
- вытащить структурированные поля из нескольких ссылок сразу
- найти в вебе материал по теме и сразу вытянуть выбранные результаты

## Примеры запросов агенту
- Скрейпни `https://example.com` и верни markdown
- Собери карту URL для этого сайта, страницы не качай
- Найди материалы про async runtime в Rust и скрейпни первые три результата

## Похожие
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89433
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119160
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32221
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23263
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13169
- [apify-mcp-server](https://affpapa.org/nevibecode/mcp/apify-mcp-server.md) — MCP-сервер · ★ 12927

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md