# Webcrawl Anything

MCP-сервер Webcrawl Anything для Claude Code, выполняющий поиск, чтение сайтов, парсинг документов и обход страниц локально без ключа API. Запускается локально на машине для интеграции веб-инструментов в среду агента.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 14 у репозитория
- Автор: brainfish-ai
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/brainfish-ai/webcrawl-anything/tree/HEAD/packages/mcp
- Обновлён: 2026-11-15
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/mcp/webcrawl-anything

## Что делает

Сервер подключает к среде агента поиск по структурированным вертикалям вроде товаров, авиабилетов и недвижимости, чтение JavaScript-страниц и извлечение данных в JSON. Инструменты парсят PDF, файлы Office, видео на YouTube и аудио в Markdown, а также строят карту ссылок домена и обходят страницы.

Пакет работает на машине локально без ключа API, загружая движок из `dist/core`. При сбое импорта процесс завершается с ошибкой. Для облачного режима доступно подключение к удаленной конечной точке или указание ключа API.

Команда `npx webcrawl setup` регистрирует сервер и устанавливает скилл агента. В конфигурации клиента задается профиль схемы `compact` для экономии токенов контекста.

## Требования
- Нужно: Node.js (команды через npx)
- Удалённый сервер: `https://webcrawl.app/mcp`
- Переменные окружения: `WEBCRAWL_API_KEY`, `WEBCRAWL_MODE`, `WEBCRAWL_MCP_SCHEMA_PROFILE` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

1. **Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http webcrawl https://webcrawl.app/mcp
```

2. **Командой платформы**
```bash
claude mcp add --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> --transport stdio mcp -- npx -y @webcrawl/mcp
```
Вместо <…> подставьте свои значения

### Codex

1. **Командой платформы: удалённый сервер**
```bash
codex mcp add mcp --url https://webcrawl.app/mcp
```

2. **Командой платформы**
```bash
codex mcp add mcp --env WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> --env WEBCRAWL_MODE=<WEBCRAWL_MODE> --env WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> -- npx -y @webcrawl/mcp
```
Вместо <…> подставьте свои значения

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "mcp": {
            "url": "https://webcrawl.app/mcp"
        }
    }
}
```
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "mcp": {
            "command": "npx",
            "args": [
                "-y",
                "@webcrawl/mcp"
            ],
            "env": {
                "WEBCRAWL_API_KEY": "<WEBCRAWL_API_KEY>",
                "WEBCRAWL_MODE": "<WEBCRAWL_MODE>",
                "WEBCRAWL_MCP_SCHEMA_PROFILE": "<WEBCRAWL_MCP_SCHEMA_PROFILE>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "mcp": {
            "type": "http",
            "url": "https://webcrawl.app/mcp"
        }
    }
}
```
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "mcp": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "@webcrawl/mcp"
            ],
            "env": {
                "WEBCRAWL_API_KEY": "<WEBCRAWL_API_KEY>",
                "WEBCRAWL_MODE": "<WEBCRAWL_MODE>",
                "WEBCRAWL_MCP_SCHEMA_PROFILE": "<WEBCRAWL_MCP_SCHEMA_PROFILE>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### Gemini CLI

1. **Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http mcp https://webcrawl.app/mcp
```

2. **Командой платформы**
```bash
gemini mcp add -e WEBCRAWL_API_KEY=<WEBCRAWL_API_KEY> -e WEBCRAWL_MODE=<WEBCRAWL_MODE> -e WEBCRAWL_MCP_SCHEMA_PROFILE=<WEBCRAWL_MCP_SCHEMA_PROFILE> mcp npx -y @webcrawl/mcp
```
Вместо <…> подставьте свои значения

## Когда брать
- найти информацию в вебе и структурированных вертикалях
- разобрать PDF и Office-документы в Markdown
- обойти домен и собрать ссылки из sitemap и robots.txt
- извлечь структурированные данные из страниц по схеме JSON
- переранжировать документы по релевантности запросу

## Примеры запросов агенту
- Найди актуальные тарифы на перелеты через webcrawl
- Прочитай страницу документации и верни Markdown через web_read
- Распознай PDF-файл в текст через web_parse

## Похожие
- [Olostep MCP Server](https://affpapa.org/nevibecode/mcp/olostep-mcp-server.md) — MCP-сервер · ★ 25 у репозитория
- [MarkUDown](https://affpapa.org/nevibecode/mcp/markudown.md) — MCP-сервер · ★ 16 у репозитория
- [firecrawl](https://affpapa.org/nevibecode/skills/firecrawl.md) — скилл · 104500 установок
- [exa-mcp](https://affpapa.org/nevibecode/mcp/exa-mcp.md) — MCP-сервер · 144 установки
- [google-search-agent-teneo](https://affpapa.org/nevibecode/skills/google-search-agent-teneo.md) — скилл · 521 установка
- [agent-reach](https://affpapa.org/nevibecode/skills/terrylica-agent-reach.md) — скилл · 195 установок

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
