# Atlas Web Compiler & Scraper

MCP-сервер для детерминированного разбора веб-страниц в чистый markdown, обхода сайтов и пакетной компиляции без участия LLM.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 1
- Автор: Atlas-Compiler
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/Atlas-Compiler/Atlas/tree/HEAD/mcp
- Обновлён: 2026-10-16
- HTML: https://affpapa.org/nevibecode/mcp/atlas-web-compiler-scraper

## Что делает

Atlas Web Compiler & Scraper подключает ИИ-агента к конвейеру Atlas, который разбирает веб-страницы в структурированный markdown. Никаких пересказов от модели: контент парсит движок компилятора, поэтому в выдаче нет выдуманных фрагментов и пропусков. Для длинных страниц сервер сам строит оглавление, режет материал на секции и следит за бюджетом токенов, а при обрезке ставит явную пометку.

Работает двумя способами. Локально запускается stdio-мост через `npx -y @atlascompiler/mcp`, а для удалённых клиентов есть HTTP-эндпоинт на `POST /mcp`. Есть мастер настройки: `npx -y @atlascompiler/mcp init` проверяет ключ и аккуратно дописывает конфиг редактора, не вшивая токен в файлы проекта. Ключ хранится в `~/.atlas/credentials.json` с правами `0600`, а в CI ключ передают переменной `ATLAS_API_KEY`.

Флаги `--api-key` и `-k` CLI отклоняет с кодом выхода 1 — так ключ не утечёт через `ps aux`. Все исходящие запросы идут через `atlas-egress`, а ресурсы `atlas://` изолированы по рабочему пространству. Для работы нужен ключ `atlas_...` из панели Atlas.

## Требования
- Нужно: Node.js (команды через npx)
- Удалённый сервер: `https://api.atlas-compiler.com/mcp`
- Переменные окружения: `ATLAS_API_KEY` — это ключи и токены: значения спроси у человека, в репозиторий и общие файлы не записывай.

## Установка

### Claude Code (родная платформа)

1. **Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http atlas https://api.atlas-compiler.com/mcp
```

2. **Командой платформы**
```bash
claude mcp add --env ATLAS_API_KEY=<ATLAS_API_KEY> --transport stdio mcp -- npx -y @atlascompiler/mcp
```
Вместо <…> подставьте свои значения

### Codex

1. **Командой платформы: удалённый сервер**
```bash
codex mcp add mcp --url https://api.atlas-compiler.com/mcp
```

2. **Командой платформы**
```bash
codex mcp add mcp --env ATLAS_API_KEY=<ATLAS_API_KEY> -- npx -y @atlascompiler/mcp
```
Вместо <…> подставьте свои значения

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "mcp": {
            "url": "https://api.atlas-compiler.com/mcp"
        }
    }
}
```
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "mcp": {
            "command": "npx",
            "args": [
                "-y",
                "@atlascompiler/mcp"
            ],
            "env": {
                "ATLAS_API_KEY": "<ATLAS_API_KEY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "mcp": {
            "type": "http",
            "url": "https://api.atlas-compiler.com/mcp"
        }
    }
}
```
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "mcp": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "@atlascompiler/mcp"
            ],
            "env": {
                "ATLAS_API_KEY": "<ATLAS_API_KEY>"
            }
        }
    }
}
```
Вместо <…> подставьте свои значения

### Gemini CLI

1. **Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http mcp https://api.atlas-compiler.com/mcp
```

2. **Командой платформы**
```bash
gemini mcp add -e ATLAS_API_KEY=<ATLAS_API_KEY> mcp npx -y @atlascompiler/mcp
```
Вместо <…> подставьте свои значения

## Когда брать
- вытащить текст статьи в markdown без пересказа от модели
- собрать карту разделов сайта перед обходом
- скомпилировать пачку страниц за один прогон
- обрезать длинную страницу по бюджету токенов с пометкой
- настроить MCP-сервер в редакторе, не вшивая ключ в конфиг

## Примеры запросов агенту
- Скомпилируй страницу https://atlas-compiler.com в markdown и покажи оглавление
- Построй карту сайта и обойди раздел с документацией
- Собери в один файл текст этих страниц, обрезая по бюджету токенов

## Похожие
- [CRW Web Scraper](https://affpapa.org/nevibecode/mcp/crw-web-scraper.md) — MCP-сервер · ★ 1181
- [web-crawler](https://affpapa.org/nevibecode/skills/web-crawler.md) — скилл · 3900 установок
- [tavily-crawl](https://affpapa.org/nevibecode/skills/tavily-crawl.md) — скилл · 17400 установок
- [doc-scraper](https://affpapa.org/nevibecode/mcp/doc-scraper.md) — MCP-сервер · ★ 107
- [Browser Scraper](https://affpapa.org/nevibecode/mcp/browser-scraper.md) — MCP-сервер · ★ 11
- [Firecrawl MCP Server](https://affpapa.org/nevibecode/mcp/firecrawl-mcp-server.md) — MCP-сервер · ★ 7695

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md