К основному содержанию
MCP-сервер CX Codex

Webcrawl Anything — MCP-сервер для Claude Code

MCP-сервер Webcrawl Anything для Claude Code, выполняющий поиск, чтение сайтов, парсинг документов и обход страниц локально без ключа API. Запускается локально на машине для интеграции веб-инструментов в среду агента.

MIT ★ 14 обновлён 2026-11-15

Установить в Claude Code · Командой платформы: удалённый сервер Все способы и платформы ↓
claude mcp add --transport http webcrawl https://webcrawl.app/mcp
Открыть на GitHub

Что делает Webcrawl Anything

Сервер подключает к среде агента поиск по структурированным вертикалям вроде товаров, авиабилетов и недвижимости, чтение JavaScript-страниц и извлечение данных в JSON. Инструменты парсят PDF, файлы Office, видео на YouTube и аудио в Markdown, а также строят карту ссылок домена и обходят страницы.

Пакет работает на машине локально без ключа API, загружая движок из dist/core. При сбое импорта процесс завершается с ошибкой. Для облачного режима доступно подключение к удаленной конечной точке или указание ключа API.

Команда npx webcrawl setup регистрирует сервер и устанавливает скилл агента. В конфигурации клиента задается профиль схемы compact для экономии токенов контекста.

Какие задачи решает

  • найти информацию в вебе и структурированных вертикалях
  • разобрать PDF и Office-документы в Markdown
  • обойти домен и собрать ссылки из sitemap и robots.txt
  • извлечь структурированные данные из страниц по схеме JSON
  • переранжировать документы по релевантности запросу

Примеры запросов агенту

  • Найди актуальные тарифы на перелеты через webcrawl
  • Прочитай страницу документации и верни Markdown через web_read
  • Распознай PDF-файл в текст через web_parse

Как установить Webcrawl Anything

1Командой платформы: удалённый сервер

claude mcp add --transport http webcrawl https://webcrawl.app/mcp

2Командой платформы

claude mcp add --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> --transport stdio mcp -- npx -y @webcrawl/mcp

Вместо <…> подставьте свои значения

По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие

Вопросы о Webcrawl Anything

Как установить Webcrawl Anything в Claude Code?

Выполните команду claude mcp add --transport http webcrawl https://webcrawl.app/mcp, затем claude mcp add --transport http mcp https://webcrawl.app/mcp или `claude mcp add --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> --transport stdio mcp -- npx -y @webcrawl/mcp`.

Что делает Webcrawl Anything?

Предоставляет агенту инструменты для поиска в сети, чтения сайтов, парсинга документов, обхода доменов и извлечения структурированных данных.

Что нужно для работы Webcrawl Anything?

В локальном режиме дополнительные ключи не требуются. Для облачного режима нужен ключ API.

Похожие MCP-серверы

Все MCP-серверы по теме «Настройка агента: память, контекст, субагенты» →
Olostep MCP Server olostep MCP-сервер Olostep MCP Server, который даёт агенту живой поиск по вебу, парсинг и краулинг сайтов. Возвращает данные в HTML, Markdown, JSON или plain text. CX Codex +1 ★ 25звёзд репо MarkUDown Scrape-Technology MarkUDown — MCP-сервер для Claude Code, который извлекает сайты в Markdown или JSON, ищет страницы и обходит ссылки. CX Codex +1 ★ 16звёзд репо firecrawl firecrawl Скилл firecrawl для Claude Code выполняет задачи с живыми веб-страницами через Firecrawl CLI. Он ищет сайты, извлекает содержимое и следит за изменениями страниц. CX Codex +1 104 500установок exa-mcp agentwings Ищет примеры кода, документацию библиотек и данные в сети через Exa AI. Помогает передать ИИ-агенту свежий контекст по SDK и API прямо во время диалога. CX Codex +1 144установок google-search-agent-teneo TeneoProtocolAI Скилл google-search-agent-teneo для Claude Code запускает Google Search Agent через Teneo Protocol; включается перед поиском, чтобы узнать синтаксис команд, аргументы и стоимость запроса. CX Codex +1 521установок agent-reach terrylica Скилл agent-reach даёт агенту возможность искать и читать информацию с интернета: социальные сети (Twitter, Reddit, Weibo, Xiaohongshu, Douyin, Bilibili, V2EX), карьерные сайты (LinkedIn), GitHub, YouTube, подкасты, статьи и RSS-ленты. CX Codex +1 195установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой