Crawlberg — MCP-сервер для Claude Code: что делает и как установить
Превращает веб-страницы и целые сайты в чистый Markdown или структурированный JSON через локальный запуск в Docker.
claude mcp add crawlberg -- docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0Что делает Crawlberg
Сервер обходит сайты и скрейпит отдельные страницы, преобразуя HTML в чистый Markdown или структурированные данные. Под капотом работает ядро на Rust, которое извлекает заголовки, списки ссылок, картинки, разметку Open Graph и блоки JSON-LD. Для страниц с тяжёлым клиентским JavaScript подключается headless-браузер с обходом базовых фильтраций.
Инструмент умеет сканировать страницы в ширину и в глубину, соблюдает правила robots.txt и находит карты sitemap.xml. Запросы к каждому домену автоматически ограничиваются по частоте, чтобы не перегружать чужие серверы. По умолчанию включена защита от SSRF: утилита сбрасывает попытки достучаться до приватных и локальных сетевых адресов.
Для запуска потребуется локально работающий Docker: контейнер ghcr.io/xberg-io/crawlberg:1.12.0 изолирует окружение и общается с клиентом через стандартный ввод-вывод. Если нужно парсить внутренние ресурсы компании, фильтр SSRF придётся явно отключить в настройках окружения.
Какие задачи решает
- собрать контент веб-страницы в Markdown для контекста LLM
- обойти сайт по ссылкам с сохранением структуры страниц
- извлечь метаданные Open Graph и JSON-LD без написания кастомного парсера
- распарсить SPA-сайт с клиентским рендерингом на JavaScript
Примеры запросов агенту
- Спарси страницу по указанной ссылке и сохрани текст в чистом Markdown.
- Обойди сайт документации на глубину 2 уровня и собери все статьи.
- Извлеки метаданные JSON-LD и структуру заголовков из этой публикации.
Как установить Crawlberg
Командой платформы
claude mcp add crawlberg -- docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0Командой платформы
codex mcp add crawlberg -- docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0Файл настроек
{
"mcpServers": {
"crawlberg": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"ghcr.io/xberg-io/crawlberg:1.12.0"
]
}
}
}Файл настроек
{
"servers": {
"crawlberg": {
"type": "stdio",
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"ghcr.io/xberg-io/crawlberg:1.12.0"
]
}
}
}Командой платформы
gemini mcp add crawlberg docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о Crawlberg
Как установить Crawlberg в Claude Code?
Выполните команду в терминале: claude mcp add crawlberg -- docker run -i --rm ghcr.io/xberg-io/crawlberg:1.12.0. Для работы потребуется установленный и запущенный Docker.
Что делает Crawlberg?
Он забирает веб-страницы или обходит целые сайты, очищает разметку и возвращает структурированный Markdown вместе с метаданными. Сервер умеет рендерить страницы с JavaScript через headless-браузер и фильтрует приватные адреса.
Можно ли парсить локальные адреса и внутренние ресурсы сети?
По умолчанию защита от SSRF блокирует запросы к localhost, приватным подсетям и метаданным облаков. Доступ к внутренним ресурсам можно разрешить только через явную настройку переменных окружения или конфигурацию CrawlConfig.
