# Nstdata Crawl

MCP-сервер Nstdata Crawl для Claude Code и Codex выгружает веб-страницы, обходит сайты и отдаёт содержимое в Markdown. Обрабатывает единичные адреса и пакетные задания на сбор данных.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 3 у репозитория
- Автор: nstdata-ai
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/nstdata-ai/nstdata-mcp-server
- Обновлён: 2026-11-16
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/mcp/nstdata-crawl

## Что делает

Сервер подключает шесть инструментов краулинга для выгрузки разметки, прохода по страницам с пагинацией и чтения прикреплённых бинарных или текстовых файлов. Доступен как удалённый сервис с авторизацией OAuth по адресу `https://mcp.nstdata.io/crawl`, так и в виде локального процесса через `npx`.

Для запуска локального stdio требуются Node.js версии 22 (от 22.18) либо 24, а также ключ доступа `NSTDATA_API_TOKEN` из личного кабинета сервиса. Пакет считывает переменные окружения напрямую и не подгружает файлы `.env`. Отправка задач расходует платные кредиты сервиса, при этом инструменты не скачивают вложенные файлы и не повторяют сбойные запросы автоматически.

Остановка ожидания в клиенте не отменяет уже отправленную удалённую задачу. Для продолжения работы нужно сохранять идентификаторы задач. Модуль HTTP/HTTPS-прокси настраивается отдельно и добавляет ещё два вспомогательных инструмента.

## Требования
- Удалённый сервер: `https://mcp.nstdata.io/crawl`

## Установка

### Claude Code (родная платформа)

**Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http crawl https://mcp.nstdata.io/crawl
```

### Codex

**Командой платформы: удалённый сервер**
```bash
codex mcp add nstdata-crawl --url https://mcp.nstdata.io/crawl
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "nstdata-crawl": {
            "url": "https://mcp.nstdata.io/crawl"
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "nstdata-crawl": {
            "type": "http",
            "url": "https://mcp.nstdata.io/crawl"
        }
    }
}
```

### Gemini CLI

**Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http nstdata-crawl https://mcp.nstdata.io/crawl
```

## Когда брать
- собрать контент отдельной страницы в Markdown
- обойти разделы сайта с учётом пагинации
- прочитать текстовые и бинарные данные по ссылкам
- отправить сетевые запросы через HTTP или HTTPS прокси

## Примеры запросов агенту
- Выгрузи содержимое документации с указанного адреса в формате Markdown
- Запусти обход блога с ограничением в десять страниц и собери тексты статей
- Проверь статус задачи сбора данных по её сохранённому идентификатору

## Похожие
- [tavily-crawl](https://affpapa.org/nevibecode/skills/tavily-crawl.md) — скилл · 17900 установок
- [firecrawl-crawl](https://affpapa.org/nevibecode/skills/firecrawl-crawl.md) — скилл · 81400 установок
- [Firecrawl MCP Server](https://affpapa.org/nevibecode/mcp/firecrawl-mcp-server.md) — MCP-сервер · ★ 7877 у репозитория
- [WebReaper](https://affpapa.org/nevibecode/mcp/webreaper.md) — MCP-сервер · ★ 153 у репозитория
- [Atlas Web Compiler & Scraper](https://affpapa.org/nevibecode/mcp/atlas-web-compiler-scraper.md) — MCP-сервер · ★ 1 у репозитория
- [Deepcrawl](https://affpapa.org/nevibecode/mcp/deepcrawl.md) — MCP-сервер

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
