crawlforge-mcp-server — MCP-сервер для Claude Code
MCP-сервер с 31 инструментом для скрапинга, краулинга и глубокого исследования сайтов. Отдаёт чистый Markdown и структурированный JSON прямо в чат агента.
claude mcp add crawlforge-mcp-server -e CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> -e DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> -e DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> -- npx -y crawlforge-mcp-serverЧто делает crawlforge-mcp-server
Сервер подключается к Claude, Codex, Cursor, GitHub Copilot, Windsurf, Cline, Zed и Gemini CLI и открывает агенту набор инструментов: разовый сбор страницы, обход сайта по ссылкам, поиск, отслеживание позиций в выдаче Google, глубокое исследование с проверкой источников и автономный agent, которому достаточно описать задачу словами — список URL не нужен. На выходе — Markdown, JSON по заданной схеме, скриншоты, ссылки и метаданные.
Извлечение через LLM по умолчанию идёт на локальной модели Ollama: ключ к OpenAI или Anthropic не нужен, данные не уходят наружу. Облачные модели включаются отдельно. Внутри есть защита от SSRF на каждом запросе, белый список бэкендов и набора действий для браузера, учёт кредитов по инструментам.
Для работы нужен ключ CrawlForge API — новый аккаунт получает 1 000 кредитов, карта не требуется. Кредиты разовые, не ежемесячные, срок их действия не ограничен. Вход выполняется через браузер командой crawlforge login, ключ сохраняется в ~/.crawlforge/config.json, а crawlforge init прописывает сервер в клиенты. Часть инструментов опирается на DataForSEO — для них в конфигурацию передаются DATAFORSEO_LOGIN и DATAFORSEO_PASSWORD.
Какие задачи решает
- собрать текст статьи в Markdown без разметки и рекламы
- обойти сайт по внутренним ссылкам и выгрузить оглавление
- проверить, на каких позициях страница в выдаче Google
- вытащить поля карточек товара в JSON по схеме
- пройти по страницам с авторизацией и собрать данные
Примеры запросов агенту
- Собери все ссылки с главной страницы сайта и верни их списком
- Вытащи заголовок, цену и описание товара со страницы в JSON
- Найди, что пишут про эту библиотеку, и собери ответ со ссылками на источники
Как установить crawlforge-mcp-server
Командой платформы
claude mcp add crawlforge-mcp-server -e CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> -e DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> -e DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> -- npx -y crawlforge-mcp-serverВместо <…> подставьте свои значения
Командой платформы
codex mcp add crawlforge-mcp-server --env CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> --env DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> --env DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> -- npx -y crawlforge-mcp-serverВместо <…> подставьте свои значения
Файл настроек
{
"mcpServers": {
"crawlforge-mcp-server": {
"command": "npx",
"args": [
"-y",
"crawlforge-mcp-server"
],
"env": {
"CRAWLFORGE_API_KEY": "<CRAWLFORGE_API_KEY>",
"DATAFORSEO_LOGIN": "<DATAFORSEO_LOGIN>",
"DATAFORSEO_PASSWORD": "<DATAFORSEO_PASSWORD>"
}
}
}
}Вместо <…> подставьте свои значения
Файл настроек
{
"servers": {
"crawlforge-mcp-server": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"crawlforge-mcp-server"
],
"env": {
"CRAWLFORGE_API_KEY": "<CRAWLFORGE_API_KEY>",
"DATAFORSEO_LOGIN": "<DATAFORSEO_LOGIN>",
"DATAFORSEO_PASSWORD": "<DATAFORSEO_PASSWORD>"
}
}
}
}Вместо <…> подставьте свои значения
Командой платформы
gemini mcp add -e CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> -e DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> -e DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> crawlforge-mcp-server npx -y crawlforge-mcp-serverВместо <…> подставьте свои значения
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о crawlforge-mcp-server
Как установить crawlforge-mcp-server в Claude Code?
Выполните `claude mcp add crawlforge-mcp-server -e CRAWLFORGE_API_KEY=<CRAWLFORGE_API_KEY> -e DATAFORSEO_LOGIN=<DATAFORSEO_LOGIN> -e DATAFORSEO_PASSWORD=<DATAFORSEO_PASSWORD> -- npx -y crawlforge-mcp-server`, затем перезапустите Claude.
Что делает crawlforge-mcp-server?
Даёт агенту 31 инструмент для скрапинга, краулинга, поиска и глубокого исследования. Возвращает Markdown, JSON, скриншоты и метаданные.
Нужен ли ключ LLM для извлечения данных?
Нет. extract_with_llm по умолчанию работает на локальной модели Ollama, ключ к облачным провайдерам не требуется.
