doc-scraper — MCP-сервер для Claude Code: что делает и как установить
Собирает сайты документации в локальную базу Markdown, которую агент может искать и читать офлайн. Пригодится, когда нужно опираться на выбранные вами документы, а не на веб-поиск.
Открыть на GitHubЧто делает doc-scraper
doc-scraper обходит сайт документации, извлекает страницы и сохраняет их в Markdown. Агент получает доступ к локальной базе через MCP: может искать по ней с помощью BM25 и читать отдельные страницы без сетевого доступа. Для обновления есть повторный сбор изменений и просмотр различий между обходами.
Перед сбором doc-scraper add определяет генератор документации, проверяет селектор содержимого и готовит конфигурацию. Распознаётся более 30 генераторов; если страница работает только на JavaScript, сервер сообщит об этом, а не сохранит пустой результат. Сбор учитывает robots.txt и карты сайта, ограничивает частоту запросов к хосту и умеет продолжать прерванную работу. Без доступа к исходному сайту собрать новую копию нельзя — офлайн здесь работает поиск по уже сохранённым страницам.
Установить программу можно из готового бинарного файла или через Go. Для подключения к Claude Code используется MCP-сервер stdio; путь к исполняемому файлу и конфигурации нужно передать в команде подключения. Результаты и состояние остаются на вашей машине.
Какие задачи решает
- собрать сайт документации в локальные Markdown-страницы
- найти ответ в сохранённой документации без веб-поиска
- прочитать нужную страницу через MCP
- сравнить текущий обход документации с предыдущим
- обновить локальную копию после изменений на сайте
Примеры запросов агенту
- Добавь сайт документации Rust CLI Book под именем
rust_cli_bookи подготовь конфигурацию. - Собери страницы сайта
rust_cli_bookв локальную базу. - Найди в
rust_cli_bookинформацию об обработке ошибок и прочитай нужную страницу.
Как установить doc-scraper
Установка
Команды запуска нет в реестре MCP — смотрите README репозитория
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о doc-scraper
Как установить doc-scraper для Claude Code?
Скачайте готовый бинарный файл для своей системы или установите программу командой go install github.com/Sriram-PR/doc-scraper/v2/cmd/doc-scraper@latest. Затем подключите MCP-сервер через claude mcp add --transport stdio doc-scraper -- /path/to/doc-scraper mcp-server -config /path/to/config.yaml, подставив пути к файлу и конфигурации.
Что делает doc-scraper?
Собирает сайты документации в локальные Markdown-файлы и предоставляет агенту MCP-инструменты для поиска и чтения. Поиск работает по сохранённым страницам без сетевого доступа.
Какие генераторы документации распознаёт doc-scraper?
Сервер распознаёт более 30 генераторов, среди них Docusaurus, Starlight, Sphinx, VitePress, Material for MkDocs и mdBook. Он также проверяет селектор содержимого и использует Readability как запасной способ извлечения.
