# doc-scraper

Собирает сайты документации в локальную базу Markdown, которую агент может искать и читать офлайн. Пригодится, когда нужно опираться на выбранные вами документы, а не на веб-поиск.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed · ★ 107
- Автор: Sriram-PR
- Лицензия: Apache-2.0 · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/Sriram-PR/doc-scraper
- Обновлён: 2026-10-22
- HTML: https://affpapa.org/nevibecode/mcp/doc-scraper

## Что делает

doc-scraper обходит сайт документации, извлекает страницы и сохраняет их в Markdown. Агент получает доступ к локальной базе через MCP: может искать по ней с помощью BM25 и читать отдельные страницы без сетевого доступа. Для обновления есть повторный сбор изменений и просмотр различий между обходами.

Перед сбором `doc-scraper add` определяет генератор документации, проверяет селектор содержимого и готовит конфигурацию. Распознаётся более 30 генераторов; если страница работает только на JavaScript, сервер сообщит об этом, а не сохранит пустой результат. Сбор учитывает `robots.txt` и карты сайта, ограничивает частоту запросов к хосту и умеет продолжать прерванную работу. Без доступа к исходному сайту собрать новую копию нельзя — офлайн здесь работает поиск по уже сохранённым страницам.

Установить программу можно из готового бинарного файла или через Go. Для подключения к Claude Code используется MCP-сервер `stdio`; путь к исполняемому файлу и конфигурации нужно передать в команде подключения. Результаты и состояние остаются на вашей машине.

## Установка

### Claude Code (родная платформа)

**Установка**
- Команды запуска нет в реестре MCP — смотрите README репозитория

## Когда брать
- собрать сайт документации в локальные Markdown-страницы
- найти ответ в сохранённой документации без веб-поиска
- прочитать нужную страницу через MCP
- сравнить текущий обход документации с предыдущим
- обновить локальную копию после изменений на сайте

## Примеры запросов агенту
- Добавь сайт документации Rust CLI Book под именем `rust_cli_book` и подготовь конфигурацию.
- Собери страницы сайта `rust_cli_book` в локальную базу.
- Найди в `rust_cli_book` информацию об обработке ошибок и прочитай нужную страницу.

## Похожие
- [Reactive Resume](https://affpapa.org/nevibecode/mcp/reactive-resume.md) — MCP-сервер · ★ 44874
- [Sui Knowledge Base (kapa.ai)](https://affpapa.org/nevibecode/mcp/sui-knowledge-base-kapaai.md) — MCP-сервер · ★ 7784
- [Claude Code Ultimate Guide](https://affpapa.org/nevibecode/mcp/claude-code-ultimate-guide.md) — MCP-сервер · ★ 6237
- [Zotero MCP](https://affpapa.org/nevibecode/mcp/zotero-mcp.md) — MCP-сервер · ★ 5548
- [RevoGrid DataGrid MCP Pro](https://affpapa.org/nevibecode/mcp/revogrid-datagrid-mcp-pro.md) — MCP-сервер · ★ 3450
- [Claude Code Explorer MCP](https://affpapa.org/nevibecode/mcp/codeaashu-claude-code-explorer-mcp.md) — MCP-сервер · ★ 3409

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md