# crawlforge-mcp-server

MCP-сервер с 31 инструментом для скрапинга, краулинга и глубокого исследования сайтов. Отдаёт чистый Markdown и структурированный JSON прямо в чат агента.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 6
- Автор: mysleekdesigns
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/mysleekdesigns/crawlforge-mcp
- Обновлён: 2026-10-22
- HTML: https://affpapa.org/nevibecode/mcp/crawlforge-mcp-server

## Что делает

Сервер подключается к Claude, Codex, Cursor, GitHub Copilot, Windsurf, Cline, Zed и Gemini CLI и открывает агенту набор инструментов: разовый сбор страницы, обход сайта по ссылкам, поиск, отслеживание позиций в выдаче Google, глубокое исследование с проверкой источников и автономный `agent`, которому достаточно описать задачу словами — список URL не нужен. На выходе — Markdown, JSON по заданной схеме, скриншоты, ссылки и метаданные.

Извлечение через LLM по умолчанию идёт на локальной модели Ollama: ключ к OpenAI или Anthropic не нужен, данные не уходят наружу. Облачные модели включаются отдельно. Внутри есть защита от SSRF на каждом запросе, белый список бэкендов и набора действий для браузера, учёт кредитов по инструментам.

Для работы нужен ключ CrawlForge API — новый аккаунт получает 1 000 кредитов, карта не требуется. Кредиты разовые, не ежемесячные, срок их действия не ограничен. Вход выполняется через браузер командой `crawlforge login`, ключ сохраняется в `~/.crawlforge/config.json`, а `crawlforge init` прописывает сервер в клиенты. Часть инструментов опирается на DataForSEO — для них в конфигурацию передаются `DATAFORSEO_LOGIN` и `DATAFORSEO_PASSWORD`.

## Требования
- Нужно: Node.js (команды через npx)
- Переменные окружения: `CRAWLFORGE_API_KEY`, `DATAFORSEO_LOGIN`, `DATAFORSEO_PASSWORD` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add crawlforge-mcp-server -e CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> -e DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> -e DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> -- npx -y crawlforge-mcp-server
```
Вместо <…> подставьте свои значения

### Codex

**Командой платформы**
```bash
codex mcp add crawlforge-mcp-server --env CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> --env DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> --env DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> -- npx -y crawlforge-mcp-server
```
Вместо <…> подставьте свои значения

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "crawlforge-mcp-server": {
            "command": "npx",
            "args": [
                "-y",
                "crawlforge-mcp-server"
            ],
            "env": {
                "CRAWLFORGE_API_KEY": "<CRAWLFORGE_API_KEY>",
                "DATAFORSEO_LOGIN": "<DATAFORSEO_LOGIN>",
                "DATAFORSEO_PASSWORD": "<DATAFORSEO_PASSWORD>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "crawlforge-mcp-server": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "crawlforge-mcp-server"
            ],
            "env": {
                "CRAWLFORGE_API_KEY": "<CRAWLFORGE_API_KEY>",
                "DATAFORSEO_LOGIN": "<DATAFORSEO_LOGIN>",
                "DATAFORSEO_PASSWORD": "<DATAFORSEO_PASSWORD>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add -e CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> -e DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> -e DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> crawlforge-mcp-server npx -y crawlforge-mcp-server
```
Вместо <…> подставьте свои значения

## Когда брать
- собрать текст статьи в Markdown без разметки и рекламы
- обойти сайт по внутренним ссылкам и выгрузить оглавление
- проверить, на каких позициях страница в выдаче Google
- вытащить поля карточек товара в JSON по схеме
- пройти по страницам с авторизацией и собрать данные

## Примеры запросов агенту
- Собери все ссылки с главной страницы сайта и верни их списком
- Вытащи заголовок, цену и описание товара со страницы в JSON
- Найди, что пишут про эту библиотеку, и собери ответ со ссылками на источники

## Похожие
- [Scrapling MCP Server](https://affpapa.org/nevibecode/mcp/scrapling-mcp-server.md) — MCP-сервер · ★ 89433
- [browser-use](https://affpapa.org/nevibecode/mcp/browser-use.md) — MCP-сервер · ★ 119160
- [AIHawk](https://affpapa.org/nevibecode/mcp/aihawk.md) — MCP-сервер · ★ 32221
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23263
- [SeleniumBase MCP](https://affpapa.org/nevibecode/mcp/seleniumbase-mcp.md) — MCP-сервер · ★ 13169
- [apify-mcp-server](https://affpapa.org/nevibecode/mcp/apify-mcp-server.md) — MCP-сервер · ★ 12927

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md