Webcrawl Anything — MCP-сервер для Claude Code
MCP-сервер Webcrawl Anything для Claude Code, выполняющий поиск, чтение сайтов, парсинг документов и обход страниц локально без ключа API. Запускается локально на машине для интеграции веб-инструментов в среду агента.
MIT ★ 14 обновлён 2026-11-15
claude mcp add --transport http webcrawl https://webcrawl.app/mcpЧто делает Webcrawl Anything
Сервер подключает к среде агента поиск по структурированным вертикалям вроде товаров, авиабилетов и недвижимости, чтение JavaScript-страниц и извлечение данных в JSON. Инструменты парсят PDF, файлы Office, видео на YouTube и аудио в Markdown, а также строят карту ссылок домена и обходят страницы.
Пакет работает на машине локально без ключа API, загружая движок из dist/core. При сбое импорта процесс завершается с ошибкой. Для облачного режима доступно подключение к удаленной конечной точке или указание ключа API.
Команда npx webcrawl setup регистрирует сервер и устанавливает скилл агента. В конфигурации клиента задается профиль схемы compact для экономии токенов контекста.
Какие задачи решает
- найти информацию в вебе и структурированных вертикалях
- разобрать PDF и Office-документы в Markdown
- обойти домен и собрать ссылки из sitemap и robots.txt
- извлечь структурированные данные из страниц по схеме JSON
- переранжировать документы по релевантности запросу
Примеры запросов агенту
- Найди актуальные тарифы на перелеты через webcrawl
- Прочитай страницу документации и верни Markdown через web_read
- Распознай PDF-файл в текст через web_parse
Как установить Webcrawl Anything
1Командой платформы: удалённый сервер
claude mcp add --transport http webcrawl https://webcrawl.app/mcp2Командой платформы
claude mcp add --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> --transport stdio mcp -- npx -y @webcrawl/mcpВместо <…> подставьте свои значения
1Командой платформы: удалённый сервер
codex mcp add mcp --url https://webcrawl.app/mcp2Командой платформы
codex mcp add mcp --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> -- npx -y @webcrawl/mcpВместо <…> подставьте свои значения
Файл настроек
{
"mcpServers": {
"mcp": {
"url": "https://webcrawl.app/mcp"
}
}
}{
"mcpServers": {
"mcp": {
"command": "npx",
"args": [
"-y",
"@webcrawl/mcp"
],
"env": {
"WEBCRAWL_API_KEY": "<WEBCRAWL_API_KEY>",
"WEBCRAWL_MODE": "<WEBCRAWL_MODE>",
"WEBCRAWL_MCP_SCHEMA_PROFILE": "<WEBCRAWL_MCP_SCHEMA_PROFILE>"
}
}
}
}Вместо <…> подставьте свои значения
Файл настроек
{
"servers": {
"mcp": {
"type": "http",
"url": "https://webcrawl.app/mcp"
}
}
}{
"servers": {
"mcp": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"@webcrawl/mcp"
],
"env": {
"WEBCRAWL_API_KEY": "<WEBCRAWL_API_KEY>",
"WEBCRAWL_MODE": "<WEBCRAWL_MODE>",
"WEBCRAWL_MCP_SCHEMA_PROFILE": "<WEBCRAWL_MCP_SCHEMA_PROFILE>"
}
}
}
}Вместо <…> подставьте свои значения
1Командой платформы: удалённый сервер
gemini mcp add -t http mcp https://webcrawl.app/mcp2Командой платформы
gemini mcp add -e WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> -e WEBCRAWL_MODE=<WEBCRAWL_MODE> -e WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> mcp npx -y @webcrawl/mcpВместо <…> подставьте свои значения
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о Webcrawl Anything
Как установить Webcrawl Anything в Claude Code?
Выполните команду claude mcp add --transport http webcrawl https://webcrawl.app/mcp, затем claude mcp add --transport http mcp https://webcrawl.app/mcp или `claude mcp add --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> --transport stdio mcp -- npx -y @webcrawl/mcp`.
Что делает Webcrawl Anything?
Предоставляет агенту инструменты для поиска в сети, чтения сайтов, парсинга документов, обхода доменов и извлечения структурированных данных.
Что нужно для работы Webcrawl Anything?
В локальном режиме дополнительные ключи не требуются. Для облачного режима нужен ключ API.