# evalscopebench-mcp

Платный удалённый MCP-сервер с инструментами для прогона бенчмарков AI SDK, сравнения оценок моделей и выдачи отчётов с квитанциями.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI
- Автор: clauxel
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/clauxel/evalscope-benchmark-mcp-mcp
- Обновлён: 2026-05-25
- HTML: https://affpapa.org/nevibecode/mcp/evalscopebench-mcp

## Что делает

Сервер даёт агенту четыре инструмента: `run_benchmark_gate`, `compare_model_scores`, `read_benchmark_report` и `issue_benchmark_receipt`. Через них можно прогнать проверку, сопоставить результаты разных моделей и получить отчёт. Ответы приходят структурированным JSON, а по каждой операции выдаётся квитанция — след для аудита workflow.

Это hosted-сервис, а не локальный процесс. Эндпоинт живёт на `https://evalscopebench.clauxel.com/mcp`, клиент должен поддерживать Streamable HTTP. Публичная карточка сервера лежит на `https://evalscopebench.clauxel.com/.well-known/mcp/server-card.json`, имя в реестре — `com.clauxel.evalscopebench/evalscopebench-mcp`.

Доступ платный: продакшн-вызовы требуют bearer-токена, который выдают на сайте продукта. Без токена запрос к `/mcp` вернёт JSON-ошибку. То есть сначала план и токен, потом добавление эндпоинта в клиент. Репозиторий содержит только документацию — исходников сервиса там нет.

## Требования
- Удалённый сервер: `https://evalscopebench.clauxel.com/mcp`

## Установка

### Claude Code (родная платформа)

**Командой платформы: удалённый сервер**
```bash
claude mcp add --transport http evalscopebench-mcp https://evalscopebench.clauxel.com/mcp
```

### Codex

**Командой платформы: удалённый сервер**
```bash
codex mcp add evalscopebench-mcp --url https://evalscopebench.clauxel.com/mcp
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "evalscopebench-mcp": {
            "url": "https://evalscopebench.clauxel.com/mcp"
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "evalscopebench-mcp": {
            "type": "http",
            "url": "https://evalscopebench.clauxel.com/mcp"
        }
    }
}
```

### Gemini CLI

**Командой платформы: удалённый сервер**
```bash
gemini mcp add -t http evalscopebench-mcp https://evalscopebench.clauxel.com/mcp
```

## Когда брать
- прогнать бенчмарк AI SDK перед выкаткой
- сравнить оценки двух моделей на одних данных
- выгрузить отчёт о бенчмарке в структурированном виде
- получить квитанцию по каждой операции для аудита
- подключить проверку бенчмарков к агенту через MCP

## Примеры запросов агенту
- Прогони бенчмарк-гейт для текущей сборки через `run_benchmark_gate`
- Сравни оценки моделей на этом датасете: `compare_model_scores`
- Прочитай последний отчёт бенчмарка и выдай квитанцию

## Похожие
- [eval-engineering](https://affpapa.org/nevibecode/skills/eval-engineering.md) — скилл · 5300 установок
- [gaia-submission](https://affpapa.org/nevibecode/skills/gaia-submission.md) — скилл · 435 установок
- [cost-benchmark](https://affpapa.org/nevibecode/skills/cost-benchmark.md) — скилл · 679 установок
- [llm-eval-harness](https://affpapa.org/nevibecode/skills/llm-eval-harness.md) — скилл · 372 установки
- [deepeval](https://affpapa.org/nevibecode/skills/deepeval.md) — скилл · 2800 установок
- [aiconfig-online-evals](https://affpapa.org/nevibecode/skills/aiconfig-online-evals.md) — скилл · 2700 установок

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md