К основному содержанию
MCP-сервер CX Codex

Deepcrawl — MCP-сервер для Claude Code: что делает и как установить

Сервер Deepcrawl собирает чистый Markdown со страниц, обходит сайты по ссылкам и выкачивает вёрстку с ресурсами на диск без сторонних API-ключей.

MIT обновлён 2026-10-28

Открыть на GitHub

Что делает Deepcrawl

Сервер даёт агенту четыре инструмента: чтение одной страницы в Markdown, сканирование карты сайта через sitemap.xml, рекурсивный обход ссылок и полное клонирование вёрстки. При клонировании скрипт сохраняет стили, скрипты, шрифты и картинки в локальную папку, переписывая адреса на относительные.

Статическую разметку инструмент читает сразу. Однако для рендеринга страниц на React или Next.js потребуется установить в систему Playwright и браузер Chromium, иначе динамический контент не загрузится.

Какие задачи решает

  • сохранить страницу в Markdown без навигации и рекламы
  • выкачать страницу со стилями и шрифтами на локальный диск
  • составить список адресов сайта через sitemap.xml
  • обойти до 100 страниц документации для передачи в базу знаний

Примеры запросов агенту

  • Сделай снимок страницы https://example.com и верни текст в Markdown без шапки и подвала
  • Склонируй сайт https://competitor.com в локальную папку со всеми стилями и картинками
  • Найди все ссылки на https://docs.example.com через карту сайта

Как установить Deepcrawl

Установка

Команды запуска нет в реестре MCP — смотрите README репозитория

По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие

Вопросы о Deepcrawl

Как установить Deepcrawl в Claude Code?

Добавьте сервер в блок mcpServers конфигурации с командой npx и аргументами ["-y", "deepcrawl-mcp@latest"]. При запуске фоновый процесс сам следит за свежими версиями в npm.

Что делает Deepcrawl?

Он превращает веб-страницы в очищенный от рекламы Markdown, обходит сайты по внутренним ссылкам и скачивает страницы со всеми ресурсами. Для работы не нужны платные тарифы или токены сторонних сервисов парсинга.

Нужен ли Playwright для работы сервера?

Статические страницы парсятся сразу без дополнительных пакетов. Playwright нужен только для сайтов с тяжёлым JavaScript или SPA, где требуется параметр jsRender: true.

Похожие MCP-серверы

Все MCP-серверы по теме «Браузер и парсинг» →
tavily-crawl tavily-ai Скилл tavily-crawl для обхода сайтов и выгрузки документации через CLI Tavily. Сохраняет страницы в Markdown или возвращает релевантные фрагменты для контекста модели. CX Codex +1 17 900установок Firecrawl MCP Server firecrawl Превращает веб-страницы в Markdown или JSON, ищет данные в сети и обходит сайты через API Firecrawl. Помогает агентам читать документацию и заполнять формы в браузере. CX Codex +1 ★ 7 877звёзд репо WebReaper alex-on-ai WebReaper — MCP-сервер для Claude Code, который переводит страницы и целые сайты в чистый markdown по stdio. Забирает веб-данные для агента. CX Codex +1 ★ 153звёзд репо Nstdata Crawl nstdata-ai MCP-сервер Nstdata Crawl для Claude Code и Codex выгружает веб-страницы, обходит сайты и отдаёт содержимое в Markdown. Обрабатывает единичные адреса и пакетные задания на сбор данных. CX Codex +1 ★ 3звёзд репо Atlas Web Compiler & Scraper Atlas-Compiler MCP-сервер Atlas Web Compiler & Scraper для детерминированного разбора веб-страниц в чистый markdown, обхода сайтов и пакетной компиляции без участия LLM. CX Codex +1 ★ 1звёзд репо Firecrawl mendableai MCP-сервер подключает агентов к Firecrawl для поиска в вебе, скачивания страниц в Markdown или JSON и обхода сайтов. CX Codex +1

Спонсоры проекта

Компании, которые помогают держать аналитику открытой