# Crawlberg

Превращает веб-страницы и целые сайты в чистый Markdown или структурированный JSON через локальный запуск в Docker.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 190
- Автор: xberg-io
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/xberg-io/crawlberg
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/mcp/crawlberg

## Что делает

Сервер обходит сайты и скрейпит отдельные страницы, преобразуя HTML в чистый Markdown или структурированные данные. Под капотом работает ядро на Rust, которое извлекает заголовки, списки ссылок, картинки, разметку Open Graph и блоки JSON-LD. Для страниц с тяжёлым клиентским JavaScript подключается headless-браузер с обходом базовых фильтраций.

Инструмент умеет сканировать страницы в ширину и в глубину, соблюдает правила `robots.txt` и находит карты `sitemap.xml`. Запросы к каждому домену автоматически ограничиваются по частоте, чтобы не перегружать чужие серверы. По умолчанию включена защита от SSRF: утилита сбрасывает попытки достучаться до приватных и локальных сетевых адресов.

Для запуска потребуется локально работающий Docker: контейнер `ghcr.io/xberg-io/crawlberg:1.12.0` изолирует окружение и общается с клиентом через стандартный ввод-вывод. Если нужно парсить внутренние ресурсы компании, фильтр SSRF придётся явно отключить в настройках окружения.

## Требования
- Нужно: Docker

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add crawlberg -- docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0
```

### Codex

**Командой платформы**
```bash
codex mcp add crawlberg -- docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "crawlberg": {
            "command": "docker",
            "args": [
                "run",
                "-i",
                "--rm",
                "ghcr.io/xberg-io/crawlberg:1.12.0"
            ]
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "crawlberg": {
            "type": "stdio",
            "command": "docker",
            "args": [
                "run",
                "-i",
                "--rm",
                "ghcr.io/xberg-io/crawlberg:1.12.0"
            ]
        }
    }
}
```

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add crawlberg docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0
```

## Когда брать
- собрать контент веб-страницы в Markdown для контекста LLM
- обойти сайт по ссылкам с сохранением структуры страниц
- извлечь метаданные Open Graph и JSON-LD без написания кастомного парсера
- распарсить SPA-сайт с клиентским рендерингом на JavaScript

## Примеры запросов агенту
- Спарси страницу по указанной ссылке и сохрани текст в чистом Markdown.
- Обойди сайт документации на глубину 2 уровня и собери все статьи.
- Извлеки метаданные JSON-LD и структуру заголовков из этой публикации.

## Похожие
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89433
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119160
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32221
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23263
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13169
- [apify-mcp-server](https://affpapa.org/nevibecode/mcp/apify-mcp-server.md) — MCP-сервер · ★ 12927

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md