Octocrawl — MCP-сервер для Claude Code: веб-данные и установка
MCP-сервер Octocrawl для Claude Code собирает содержимое веб-страниц в Markdown и структурированные данные. Он подключается к агенту, чтобы читать страницы, обходить сайты и извлекать данные из списков.
AGPL-3.0 ★ 7 обновлён 2026-11-16
claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcpЧто делает Octocrawl
Octocrawl получает страницы по URL и возвращает их содержимое в Markdown, а также ссылки, метаданные и HTML. Сервер умеет находить адреса сайта, обходить разделы и обрабатывать пакет URL; результат для каждой страницы включает запись об источнике и состояние обработки.
Для таблиц и повторяющихся списков доступны JSON и CSV, а для извлечения полей можно передать JSON Schema. Динамические страницы требуют браузерного режима; для страниц, которые доступны только в браузере, нужен установленный Chromium через npx playwright install chromium. Для локального запуска требуется Node.js 22.13+ или 24+. Подключение к размещённому серверу начинается без ключа API, но такой режим ограничен 20 страницами в день по HTTP.
Какие задачи решает
- получить Markdown-содержимое веб-страницы по URL
- найти страницы сайта по карте сайта и ссылкам
- собрать данные из таблиц и списков в JSON или CSV
- обойти раздел сайта с ограничением глубины и числа страниц
- сохранить результат обработки для каждого URL в пакете
Примеры запросов агенту
- Прочитай эту страницу и верни содержимое в Markdown:
https://example.com. - Найди страницы документации сайта по запросу «authentication» и собери их содержимое.
- Извлеки названия и цены товаров с этой страницы в JSON.
Как установить Octocrawl
1Командой платформы: удалённый сервер
claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp2Командой платформы
claude mcp add --env W2L_API_URL=<W2L_API_URL> --env W2L_API_TOKEN=<W2L_API_TOKEN> --env W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> --env W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> --transport stdio octocrawl -- npx -y @octocrawl/mcpВместо <…> подставьте свои значения
1Командой платформы: удалённый сервер
codex mcp add octocrawl --url https://mcp.octocrawl.dev/mcp2Командой платформы
codex mcp add octocrawl --env W2L_API_URL=<W2L_API_URL> --env W2L_API_TOKEN=<W2L_API_TOKEN> --env W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> --env W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> -- npx -y @octocrawl/mcpВместо <…> подставьте свои значения
Файл настроек
{
"mcpServers": {
"octocrawl": {
"url": "https://mcp.octocrawl.dev/mcp"
}
}
}{
"mcpServers": {
"octocrawl": {
"command": "npx",
"args": [
"-y",
"@octocrawl/mcp"
],
"env": {
"W2L_API_URL": "<W2L_API_URL>",
"W2L_API_TOKEN": "<W2L_API_TOKEN>",
"W2L_MCP_TOOLSETS": "<W2L_MCP_TOOLSETS>",
"W2L_MCP_READ_ONLY": "<W2L_MCP_READ_ONLY>"
}
}
}
}Вместо <…> подставьте свои значения
Файл настроек
{
"servers": {
"octocrawl": {
"type": "http",
"url": "https://mcp.octocrawl.dev/mcp"
}
}
}{
"servers": {
"octocrawl": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"@octocrawl/mcp"
],
"env": {
"W2L_API_URL": "<W2L_API_URL>",
"W2L_API_TOKEN": "<W2L_API_TOKEN>",
"W2L_MCP_TOOLSETS": "<W2L_MCP_TOOLSETS>",
"W2L_MCP_READ_ONLY": "<W2L_MCP_READ_ONLY>"
}
}
}
}Вместо <…> подставьте свои значения
1Командой платформы: удалённый сервер
gemini mcp add -t http octocrawl https://mcp.octocrawl.dev/mcp2Командой платформы
gemini mcp add -e W2L_API_URL=<W2L_API_URL> -e W2L_API_TOKEN=<W2L_API_TOKEN> -e W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> -e W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> octocrawl npx -y @octocrawl/mcpВместо <…> подставьте свои значения
По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы об Octocrawl
Как установить Octocrawl в Claude Code?
Для подключения размещённого сервера выполни claude mcp add --transport http octocrawl https://mcp.octocrawl.dev/mcp. Для локального MCP-сервера выполни `claude mcp add --env W2L_API_URL=<W2L_API_URL> --env W2L_API_TOKEN=<W2L_API_TOKEN> --env W2L_MCP_TOOLSETS=<W2L_MCP_TOOLSETS> --env W2L_MCP_READ_ONLY=<W2L_MCP_READ_ONLY> --transport stdio octocrawl -- npx -y @octocrawl/mcp`.
Что делает Octocrawl?
Он читает веб-страницы и возвращает Markdown, структурированные данные и запись об источнике. Также сервер умеет находить URL сайта, обходить его разделы и обрабатывать набор адресов.
Что нужно для работы Octocrawl?
Для размещённого сервера ключ API не нужен при начальном подключении. Локальный запуск требует Node.js 22.13+ или 24+, а для страниц, доступных только в браузере, нужен Chromium, установленный командой npx playwright install chromium.