# Deepcrawl

Сервер Deepcrawl собирает чистый Markdown со страниц, обходит сайты по ссылкам и выкачивает вёрстку с ресурсами на диск без сторонних API-ключей.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI
- Автор: Soflutionltd
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/Soflutionltd/deepcrawl
- Обновлён: 2026-10-28
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/mcp/deepcrawl

## Что делает

Сервер даёт агенту четыре инструмента: чтение одной страницы в Markdown, сканирование карты сайта через `sitemap.xml`, рекурсивный обход ссылок и полное клонирование вёрстки. При клонировании скрипт сохраняет стили, скрипты, шрифты и картинки в локальную папку, переписывая адреса на относительные.

Статическую разметку инструмент читает сразу. Однако для рендеринга страниц на React или Next.js потребуется установить в систему Playwright и браузер Chromium, иначе динамический контент не загрузится.

## Установка

### Claude Code (родная платформа)

**Установка**
- Команды запуска нет в реестре MCP — смотрите README репозитория

## Когда брать
- сохранить страницу в Markdown без навигации и рекламы
- выкачать страницу со стилями и шрифтами на локальный диск
- составить список адресов сайта через `sitemap.xml`
- обойти до 100 страниц документации для передачи в базу знаний

## Примеры запросов агенту
- Сделай снимок страницы `https://example.com` и верни текст в Markdown без шапки и подвала
- Склонируй сайт `https://competitor.com` в локальную папку со всеми стилями и картинками
- Найди все ссылки на `https://docs.example.com` через карту сайта

## Похожие
- [tavily-crawl](https://affpapa.org/nevibecode/skills/tavily-crawl.md) — скилл · 17900 установок
- [Firecrawl MCP Server](https://affpapa.org/nevibecode/mcp/firecrawl-mcp-server.md) — MCP-сервер · ★ 7877 у репозитория
- [WebReaper](https://affpapa.org/nevibecode/mcp/webreaper.md) — MCP-сервер · ★ 153 у репозитория
- [Nstdata Crawl](https://affpapa.org/nevibecode/mcp/nstdata-crawl.md) — MCP-сервер · ★ 3 у репозитория
- [Atlas Web Compiler & Scraper](https://affpapa.org/nevibecode/mcp/atlas-web-compiler-scraper.md) — MCP-сервер · ★ 1 у репозитория
- [Firecrawl](https://affpapa.org/nevibecode/mcp/firecrawl.md) — MCP-сервер

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
