К основному содержанию
плагин CX Codex

crawlberg — плагин для Claude Code: что делает и как установить

Плагин crawlberg скачивает веб-страницы, переводит HTML в Markdown и обходит домены через локальный CLI и MCP-сервер. Поможет получить чистый контент сайтов прямо в контекст агента.

MIT ★ 1 596 обновлён 2026-10-29

Установить в Claude Code · Через маркетплейс плагинов Все способы и платформы ↓
/plugin marketplace add hashgraph-online/awesome-codex-plugins
/plugin install crawlberg@awesome-codex-plugins
Открыть на GitHub

Что делает crawlberg

Плагин запускает локальный MCP-сервер через скрипт scripts/mcp-launch.sh и даёт агенту команды для сбора данных с сайтов. При первом вызове скрипт ищет готовый бинарник crawlberg в системном пути PATH, проверяет запуск через npx или менеджеры пакетов, либо загружает скомпилированный файл сам.

Внутри находятся готовые скиллы для сохранения страниц в Markdown или JSON, обхода доменов по ссылкам и извлечения карты URL. Сервер умеет кликать по элементам, вводить текст и прокручивать страницы через действия в headless-браузере.

Для работы со сложными страницами на JavaScript в системе должен стоять Chrome или Chromium. Без установленного браузера рендеринг скриптов не запустится.

Какие задачи решает

  • обойти домен и выгрузить страницы в Markdown
  • конвертировать отдельную HTML-страницу в структурированный текст
  • собрать список ссылок из карты сайта
  • выполнить клики и прокрутку в браузере перед сохранением DOM

Примеры запросов агенту

  • Выгрузи страницу https://example.com/article в формате Markdown
  • Обойди сайт https://example.com и сохрани тексты страниц
  • Собери карту ссылок с адреса https://example.com

Как установить crawlberg

Через маркетплейс плагинов

/plugin marketplace add hashgraph-online/awesome-codex-plugins
/plugin install crawlberg@awesome-codex-plugins

По шагам, с командами для каждой платформы: Плагины Claude Code: маркетплейсы, установка и как собрать свой

Вопросы о crawlberg

Как установить crawlberg в Claude Code?

Выполните в терминале агента команды маркетплейса: /plugin marketplace add hashgraph-online/awesome-codex-plugins, затем /plugin install crawlberg@awesome-codex-plugins.

Что делает crawlberg?

Плагин подключает MCP-сервер для выгрузки страниц, обхода сайтов по ссылкам и конвертации HTML в Markdown.

Нужен ли Chrome для работы плагина?

Статический контент скачивается без браузера. Chrome или Chromium понадобится только для страниц с рендерингом на JavaScript и скриптовых действий.

Исходный текст

crawlberg · MIT
# crawlberg

Crawl, scrape, and convert websites to Markdown using the local `crawlberg` CLI in your agent.

<!-- ~keep TODO: add screenshot -->

## Install

### From the marketplace (recommended)

Pending review for official Claude marketplace.

Self-host:

```text
/plugin marketplace add xberg-io/plugins
/plugin install crawlberg@xberg
```

### Binary requirement

The MCP server runs through an auto-installing launcher (`scripts/mcp-launch.sh`): on first use it reuses any working `crawlberg` binary already on `PATH`, then tries `npx`/`uvx`, then Homebrew, then a prebuilt download. No manual install is required for MCP.

To install the CLI yourself (recommended for direct CLI use, and reused by the launcher):

```bash
brew install xberg-io/tap/crawlberg
# or run it without a persistent install (the CLI proxy package self-installs the binary):
npx @xberg-io/crawlberg-cli --help
uvx --from crawlberg-cli crawlberg --help
# or build from source (the mcp/api subcommands are non-default features):
cargo install crawlberg-cli --features all
```

The published npm (`@xberg-io/crawlberg`) and PyPI (`crawlberg`) packages are language *library* bindings, not the CLI — install via Homebrew or the from-source build above for the `crawlberg` binary.

Headless fallback requires Chrome/Chromium on your system. The CLI launches it on demand; skip the binary if you only plan to use `--browser-mode never`.

## Skills shipped

| Skill | Trigger |
|-------|---------|
| **crawlberg** | Crawl, scrape, and convert websites to Markdown using the local crawlberg CLI and its MCP server. Use when the user wants to fetch a page, follow links across a domain, enumerate URLs, or drive a real browser. Covers installation, the subcommands (scrape, crawl, map, interact, batch-scrape, batch-crawl, download, citations, version, mcp, serve), output formats (JSON + Markdown), browser fallback, and when to prefer the MCP server over shelling out. |
| **crawling-a-site** | Use when the user wants to follow links across a domain and capture every reachable page as Markdown. Covers `crawlberg crawl` with depth, page caps, concurrency, rate limiting, domain scoping, robots, and output selection. |
| **scraping-html-to-markdown** | Use when the user wants a single page rendered as clean Markdown plus structured metadata. Covers `crawlberg scrape <url>`, JSON vs Markdown output, what metadata is returned, and how to handle JS-heavy pages. |
| **mapping-urls** | Use when the user wants the list of URLs on a site rather than the page content — sitemap analysis, link planning, or seeding another tool. Covers `crawlberg map <url>` with `--limit`, `--search`, robots, output, and how it differs from a full crawl. |
| **automating-the-browser** | Use when extracting a page needs scripted interaction first — click, type, press a key, scroll, wait, screenshot, or run JS before capturing the DOM. Covers `crawlberg interact <url> --actions` with the real action schema, result shape, limits, and external-CDP options. |
| **serving-the-api** | Use when the user wants a long-running HTTP service for scrape/crawl/map instead of one-shot CLI calls or the MCP server. Covers `crawlberg serve`, the Firecrawl-v1-compatible endpoints, `--host`/`--port`, and when to prefer it. |
| **headless-fallback** | Use when a static fetch returns nothing useful and the page needs a real browser. Covers `--browser-mode auto\|always\|never`, external CDP via `--browser-endpoint`, symptoms of JS-only pages and WAF blocks, and the performance cost. |

## MCP / CLI

The plugin wires up the `crawlberg` MCP server via `scripts/mcp-launch.sh`, which resolves or installs a version-matched binary, then runs `crawlberg mcp` over stdio. Override binary resolution with `CRAWLBERG_LAUNCHER=auto|download`.

The MCP server exposes nine tools:

- `scrape` — fetch and convert a single URL to Markdown or JSON.
- `crawl` — follow links across a domain, bounded by depth and page count.
- `map` — enumerate URLs from sitemaps and link extraction.
- `batch_scrape` — scrape multiple URLs concurrently.
- `batch_crawl` — crawl multiple seed URLs concurrently.
- `download` — download a document from a URL and report its file metadata.
- `interact` — drive a headless browser with click, type, scroll actions.
- `generate_citations` — rewrite markdown links as numbered citations with a reference list.
- `get_version` — report the crawlberg library version.

The CLI offers the same operations as subcommands — `scrape`, `crawl`, `map`, `interact`, `batch-scrape`, `batch-crawl`, `download`, `citations`, `version` — plus `serve` (a Firecrawl-v1-compatible REST API server) and `mcp` (the stdio MCP server). See the `crawlberg` skill for the full per-subcommand flag surface, and the `serving-the-api` skill for when to run the server instead of the CLI or MCP.

## Configuration

Pass flags or use inline JSON via `--config`:

```bash
crawlberg scrape https://example.com \
  --format markdown \
  --browser-mode auto \
  --timeout 30000
```

For complex configs, use JSON:

```bash
crawlberg crawl https://example.com \
  --config '{"max_depth":3,"max_pages":200,"max_concurrent":8,"respect_robots_txt":true}'
```

See the `crawlberg` and `crawling-a-site` skills for the full flag surface.

## Examples

Fetch a single page and print Markdown:

```text
crawlberg scrape https://example.com/article --format markdown
```

Crawl a site at depth 3 with rate limiting:

```text
crawlberg crawl https://example.com --depth 3 --max-pages 200 --concurrent 8 --stay-on-domain --format markdown
```

Enumerate URLs from a sitemap:

```text
crawlberg map https://example.com --limit 500
```

## Versioning

The plugin version tracks the marketplace `VERSION` file. See [CHANGELOG.md](../../CHANGELOG.md) for release notes.

## License

MIT.

## See also

- **Marketplace**: [xberg-io/plugins](https://github.com/xberg-io/plugins)
- **Upstream**: [xberg-io/crawlberg](https://github.com/xberg-io/crawlberg)
- **Sibling plugins**: [xberg](../xberg/README.md)

© Kreuzberg, Inc. · MIT · hashgraph-online/awesome-codex-plugins

Похожие плагины

Все плагины по теме «Браузер и парсинг» →
felo-web-fetch Felo-Inc Скилл felo-web-fetch извлекает содержимое страниц по URL через Felo API, превращая веб-страницы в markdown, html или чистый текст с выборкой по CSS-селекторам. CX Codex +1 117установок Olostep MCP Server olostep MCP-сервер Olostep MCP Server, который даёт агенту живой поиск по вебу, парсинг и краулинг сайтов. Возвращает данные в HTML, Markdown, JSON или plain text. CX Codex +1 ★ 25звёзд репо selenium sanjeed5 Задаёт стандарты написания скриптов на Selenium в Python: обязывает использовать Page Object Model, явные ожидания и headless-режим. CX Codex +1 ★ 3 589звёзд репо crawlforge-mcp-server mysleekdesigns MCP-сервер crawlforge-mcp-server с 31 инструментом для скрапинга, краулинга и глубокого исследования сайтов. Отдаёт чистый Markdown и структурированный JSON прямо в чат агента. CX Codex +1 ★ 6звёзд репо website-to-video calesthio Скилл website-to-video для Claude Code захватывает сайт через headless Chrome и превращает его визуалы в видео HyperFrames. Создаёт тур по сайту, портфолио, блогу или landing page. CX Codex +1 ★ 78 316звёзд репо Writ Cloud usewrit Writ Cloud подключает браузерные сценарии и парсинг к ИИ-агенту через MCP. Позволяет запускать сбор данных, скачивать выгрузки и превращать веб-страницы в API. CX Codex +1 ★ 1звёзд репо

Из того же набора391

Весь набор →
langfuse Плагин подключает MCP-сервер Langfuse: ищет трейсы, исключения и медленные сессии, управляет промптами и датасетами через 48 инструментов. CX Codex ★ 1 596звёзд репо lacuna-music Плагин lacuna-music для Claude Code и Codex генерирует инструментальные треки и песни с вокалом по тексту через MCP-сервер Lacuna. Создаёт музыку для озвучки прототипов и фонового сопровождения. CX Codex ★ 1 596звёзд репо kuudo-skills Плагин kuudo-skills для Claude Code и Codex помогает аудировать Amazon-рекламу, листинги, цены и прибыль. Агент использует его для разбора коммерческих данных и выбора следующих шагов. CX Codex ★ 1 596звёзд репо krexa Плагин krexa превращает торговую идею, пост или видео в правила, гоняет бэктест и бумажную торговлю, а живого агента запускает только после вашей подписи. CX Codex ★ 1 596звёзд репо kachilu-browser Плагин kachilu-browser для Claude Code и Codex автоматизирует браузер, распознаёт капчу и передаёт её завершение в локальный поток; из WSL2 управляет браузером на Windows. CX Codex ★ 1 596звёзд репо jimeng-skills Плагин jimeng-skills разворачивает производственный конвейер раскадровки коротких сериалов с шестью субагентами. Помогает пройти путь от сырого текста до промптов генерации и финальной проверки. CX Codex ★ 1 596звёзд репо jev-social Плагин jev-social для Claude Code собирает данные из Instagram, TikTok и LinkedIn в отчёты с цитатами на источники. Агент выбирает операции для поиска, просмотра публикаций и чтения комментариев в Chrome. CX Codex ★ 1 596звёзд репо jetformat Направляет агента к локальному jetformat для обработки Office-файлов и PDF. Конвертирует Word, Excel и PowerPoint в PDF и извлекает текст. CX Codex ★ 1 596звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой