# Octocrawl

MCP-сервер Octocrawl для Claude Code собирает содержимое веб-страниц в Markdown и структурированные данные. Он подключается к агенту, чтобы читать страницы, обходить сайты и извлекать данные из списков.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 7 у репозитория
- Автор: 77777R7
- Лицензия: AGPL-3.0 · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/77777R7/Octocrawl
- Обновлён: 2026-11-16
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/mcp/octocrawl

## Что делает

Octocrawl получает страницы по URL и возвращает их содержимое в Markdown, а также ссылки, метаданные и HTML. Сервер умеет находить адреса сайта, обходить разделы и обрабатывать пакет URL; результат для каждой страницы включает запись об источнике и состояние обработки.

Для таблиц и повторяющихся списков доступны JSON и CSV, а для извлечения полей можно передать JSON Schema. Динамические страницы требуют браузерного режима; для страниц, которые доступны только в браузере, нужен установленный Chromium через `npx playwright install chromium`. Для локального запуска требуется Node.js 22.13+ или 24+. Подключение к размещённому серверу начинается без ключа API, но такой режим ограничен 20 страницами в день по HTTP.

## Требования
- Нужно: Node.js (команды через npx)
- Удалённый сервер: `https://mcp.octocrawl.dev/mcp`
- Переменные окружения: `W2L_API_URL`, `W2L_API_TOKEN`, `W2L_MCP_TOOLSETS`, `W2L_MCP_READ_ONLY` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

1. **Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp
```

2. **Командой платформы**
```bash
claude mcp add --env W2L_API_URL=<W2L_API_URL> --env W2L_API_TOKEN=<W2L_API_TOKEN> --env W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> --env W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> --transport stdio octocrawl -- npx -y @octocrawl/mcp
```
Вместо <…> подставьте свои значения

### Codex

1. **Командой платформы: удалённый сервер**
```bash
codex mcp add octocrawl --url https://mcp.octocrawl.dev/mcp
```

2. **Командой платформы**
```bash
codex mcp add octocrawl --env W2L_API_URL=<W2L_API_URL> --env W2L_API_TOKEN=<W2L_API_TOKEN> --env W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> --env W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> -- npx -y @octocrawl/mcp
```
Вместо <…> подставьте свои значения

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "octocrawl": {
            "url": "https://mcp.octocrawl.dev/mcp"
        }
    }
}
```
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "octocrawl": {
            "command": "npx",
            "args": [
                "-y",
                "@octocrawl/mcp"
            ],
            "env": {
                "W2L_API_URL": "<W2L_API_URL>",
                "W2L_API_TOKEN": "<W2L_API_TOKEN>",
                "W2L_MCP_TOOLSETS": "<W2L_MCP_TOOLSETS>",
                "W2L_MCP_READ_ONLY": "<W2L_MCP_READ_ONLY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "octocrawl": {
            "type": "http",
            "url": "https://mcp.octocrawl.dev/mcp"
        }
    }
}
```
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "octocrawl": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "@octocrawl/mcp"
            ],
            "env": {
                "W2L_API_URL": "<W2L_API_URL>",
                "W2L_API_TOKEN": "<W2L_API_TOKEN>",
                "W2L_MCP_TOOLSETS": "<W2L_MCP_TOOLSETS>",
                "W2L_MCP_READ_ONLY": "<W2L_MCP_READ_ONLY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### Gemini CLI

1. **Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http octocrawl https://mcp.octocrawl.dev/mcp
```

2. **Командой платформы**
```bash
gemini mcp add -e W2L_API_URL=<W2L_API_URL> -e W2L_API_TOKEN=<W2L_API_TOKEN> -e W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> -e W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> octocrawl npx -y @octocrawl/mcp
```
Вместо <…> подставьте свои значения

## Когда брать
- получить Markdown-содержимое веб-страницы по URL
- найти страницы сайта по карте сайта и ссылкам
- собрать данные из таблиц и списков в JSON или CSV
- обойти раздел сайта с ограничением глубины и числа страниц
- сохранить результат обработки для каждого URL в пакете

## Примеры запросов агенту
- Прочитай эту страницу и верни содержимое в Markdown: `https://example.com`.
- Найди страницы документации сайта по запросу «authentication» и собери их содержимое.
- Извлеки названия и цены товаров с этой страницы в JSON.

## Похожие
- [firecrawl-company-directories](https://affpapa.org/nevibecode/skills/firecrawl-company-directories.md) — скилл · 31600 установок
- [scrape](https://affpapa.org/nevibecode/skills/brightdata-scrape.md) — скилл · 11100 установок
- [Olostep MCP Server](https://affpapa.org/nevibecode/mcp/olostep-mcp-server.md) — MCP-сервер · ★ 25 у репозитория
- [reporting-pipelines](https://affpapa.org/nevibecode/skills/reporting-pipelines.md) — скилл · 371 установка
- [firecrawl-lead-research](https://affpapa.org/nevibecode/skills/firecrawl-lead-research.md) — скилл · 31700 установок
- [just-scrape](https://affpapa.org/nevibecode/skills/just-scrape.md) — скилл · 245000 установок

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
