К основному содержанию
MCP-сервер CX Codex

Nstdata Crawl — MCP-сервер для Claude Code: установка и запуск

MCP-сервер Nstdata Crawl для Claude Code и Codex выгружает веб-страницы, обходит сайты и отдаёт содержимое в Markdown. Обрабатывает единичные адреса и пакетные задания на сбор данных.

MIT ★ 3 обновлён 2026-11-16

Установить в Claude Code · Командой платформы: удалённый сервер Все способы и платформы ↓
claude mcp add --transport http crawl https://mcp.nstdata.io/crawl
Открыть на GitHub

Что делает Nstdata Crawl

Сервер подключает шесть инструментов краулинга для выгрузки разметки, прохода по страницам с пагинацией и чтения прикреплённых бинарных или текстовых файлов. Доступен как удалённый сервис с авторизацией OAuth по адресу https://mcp.nstdata.io/crawl, так и в виде локального процесса через npx.

Для запуска локального stdio требуются Node.js версии 22 (от 22.18) либо 24, а также ключ доступа NSTDATA_API_TOKEN из личного кабинета сервиса. Пакет считывает переменные окружения напрямую и не подгружает файлы .env. Отправка задач расходует платные кредиты сервиса, при этом инструменты не скачивают вложенные файлы и не повторяют сбойные запросы автоматически.

Остановка ожидания в клиенте не отменяет уже отправленную удалённую задачу. Для продолжения работы нужно сохранять идентификаторы задач. Модуль HTTP/HTTPS-прокси настраивается отдельно и добавляет ещё два вспомогательных инструмента.

Какие задачи решает

  • собрать контент отдельной страницы в Markdown
  • обойти разделы сайта с учётом пагинации
  • прочитать текстовые и бинарные данные по ссылкам
  • отправить сетевые запросы через HTTP или HTTPS прокси

Примеры запросов агенту

  • Выгрузи содержимое документации с указанного адреса в формате Markdown
  • Запусти обход блога с ограничением в десять страниц и собери тексты статей
  • Проверь статус задачи сбора данных по её сохранённому идентификатору

Как установить Nstdata Crawl

Командой платформы: удалённый сервер

claude mcp add --transport http crawl https://mcp.nstdata.io/crawl

По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие

Вопросы о Nstdata Crawl

Как установить Nstdata Crawl в Claude Code?

Выполните команду claude mcp add --transport http nstdata-crawl https://mcp.nstdata.io/crawl.

Что делает Nstdata Crawl?

Сервер передаёт агенту набор инструментов для сбора веб-страниц, многостраничного обхода сайтов и преобразования полученного контента в Markdown.

Что нужно для работы Nstdata Crawl?

Для удалённого режима нужен аккаунт Nstdata с поддержкой OAuth. Для локального запуска через stdio требуются Node.js версии 22.18+ или 24, утилита npx и ключ NSTDATA_API_TOKEN.

Похожие MCP-серверы

Все MCP-серверы по теме «Браузер и парсинг» →
tavily-crawl tavily-ai Скилл tavily-crawl для обхода сайтов и выгрузки документации через CLI Tavily. Сохраняет страницы в Markdown или возвращает релевантные фрагменты для контекста модели. CX Codex +1 17 900установок firecrawl-crawl firecrawl Скилл firecrawl-crawl для Claude Code загружает по ссылкам несколько страниц сайта или раздела. Собирает контент, документацию и информацию со связанных страниц. CX Codex +1 81 400установок Firecrawl MCP Server firecrawl Превращает веб-страницы в Markdown или JSON, ищет данные в сети и обходит сайты через API Firecrawl. Помогает агентам читать документацию и заполнять формы в браузере. CX Codex +1 ★ 7 877звёзд репо WebReaper alex-on-ai WebReaper — MCP-сервер для Claude Code, который переводит страницы и целые сайты в чистый markdown по stdio. Забирает веб-данные для агента. CX Codex +1 ★ 153звёзд репо Atlas Web Compiler & Scraper Atlas-Compiler MCP-сервер Atlas Web Compiler & Scraper для детерминированного разбора веб-страниц в чистый markdown, обхода сайтов и пакетной компиляции без участия LLM. CX Codex +1 ★ 1звёзд репо Deepcrawl Soflutionltd Сервер Deepcrawl собирает чистый Markdown со страниц, обходит сайты по ссылкам и выкачивает вёрстку с ресурсами на диск без сторонних API-ключей. CX Codex +1

Спонсоры проекта

Компании, которые помогают держать аналитику открытой