# crawlberg

Плагин crawlberg скачивает веб-страницы, переводит HTML в Markdown и обходит домены через локальный CLI и MCP-сервер. Поможет получить чистый контент сайтов прямо в контекст агента.

- плагин · `type=plugin` · Claude Code, Codex · ★ 1596 у репозитория
- Автор: Kreuzberg, Inc.
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/hashgraph-online/awesome-codex-plugins/tree/HEAD/plugins/kreuzberg-dev/plugins/plugins/crawlberg
- Обновлён: 2026-10-29
- Проверка безопасности: автоматическая, 2026-11-16 (текст и 3 файла скриптов) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/plugins/crawlberg

## Что делает

Плагин запускает локальный MCP-сервер через скрипт `scripts/mcp-launch.sh` и даёт агенту команды для сбора данных с сайтов. При первом вызове скрипт ищет готовый бинарник `crawlberg` в системном пути `PATH`, проверяет запуск через `npx` или менеджеры пакетов, либо загружает скомпилированный файл сам.

Внутри находятся готовые скиллы для сохранения страниц в Markdown или JSON, обхода доменов по ссылкам и извлечения карты URL. Сервер умеет кликать по элементам, вводить текст и прокручивать страницы через действия в headless-браузере.

Для работы со сложными страницами на JavaScript в системе должен стоять Chrome или Chromium. Без установленного браузера рендеринг скриптов не запустится.

## Установка

### Claude Code (родная платформа)

**Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add hashgraph-online/awesome-codex-plugins
```
В чате агента (не в терминале):
```text
/plugin install crawlberg@awesome-codex-plugins
```

## Когда брать
- обойти домен и выгрузить страницы в Markdown
- конвертировать отдельную HTML-страницу в структурированный текст
- собрать список ссылок из карты сайта
- выполнить клики и прокрутку в браузере перед сохранением DOM

## Примеры запросов агенту
- Выгрузи страницу `https://example.com/article` в формате Markdown
- Обойди сайт `https://example.com` и сохрани тексты страниц
- Собери карту ссылок с адреса `https://example.com`

## Похожие
- [felo-web-fetch](https://affpapa.org/nevibecode/skills/felo-web-fetch.md) — скилл · 117 установок
- [Olostep MCP Server](https://affpapa.org/nevibecode/mcp/olostep-mcp-server.md) — MCP-сервер · ★ 25 у репозитория
- [selenium](https://affpapa.org/nevibecode/rules/selenium.md) — правило · ★ 3589 у репозитория
- [crawlforge-mcp-server](https://affpapa.org/nevibecode/mcp/crawlforge-mcp-server.md) — MCP-сервер · ★ 6 у репозитория
- [website-to-video](https://affpapa.org/nevibecode/skills/website-to-video.md) — скилл · ★ 78316 у репозитория
- [Writ Cloud](https://affpapa.org/nevibecode/mcp/writ-cloud.md) — MCP-сервер · ★ 1 у репозитория

Из того же набора: [hashgraph-online/awesome-codex-plugins](https://affpapa.org/nevibecode/by/hashgraph-online/awesome-codex-plugins.md) — 391 карточка

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
