evalscopebench-mcp — MCP-сервер для Claude Code: бенчмарки AI SDK
Платный удалённый MCP-сервер с инструментами для прогона бенчмарков AI SDK, сравнения оценок моделей и выдачи отчётов с квитанциями.
claude mcp add --transport http evalscopebench-mcp https://evalscopebench.clauxel.com/mcpЧто делает evalscopebench-mcp
Сервер даёт агенту четыре инструмента: run_benchmark_gate, compare_model_scores, read_benchmark_report и issue_benchmark_receipt. Через них можно прогнать проверку, сопоставить результаты разных моделей и получить отчёт. Ответы приходят структурированным JSON, а по каждой операции выдаётся квитанция — след для аудита workflow.
Это hosted-сервис, а не локальный процесс. Эндпоинт живёт на https://evalscopebench.clauxel.com/mcp, клиент должен поддерживать Streamable HTTP. Публичная карточка сервера лежит на https://evalscopebench.clauxel.com/.well-known/mcp/server-card.json, имя в реестре — com.clauxel.evalscopebench/evalscopebench-mcp.
Доступ платный: продакшн-вызовы требуют bearer-токена, который выдают на сайте продукта. Без токена запрос к /mcp вернёт JSON-ошибку. То есть сначала план и токен, потом добавление эндпоинта в клиент. Репозиторий содержит только документацию — исходников сервиса там нет.
Какие задачи решает
- прогнать бенчмарк AI SDK перед выкаткой
- сравнить оценки двух моделей на одних данных
- выгрузить отчёт о бенчмарке в структурированном виде
- получить квитанцию по каждой операции для аудита
- подключить проверку бенчмарков к агенту через MCP
Примеры запросов агенту
- Прогони бенчмарк-гейт для текущей сборки через
run_benchmark_gate - Сравни оценки моделей на этом датасете:
compare_model_scores - Прочитай последний отчёт бенчмарка и выдай квитанцию
Как установить evalscopebench-mcp
Командой платформы: удалённый сервер
claude mcp add --transport http evalscopebench-mcp https://evalscopebench.clauxel.com/mcpКомандой платформы: удалённый сервер
codex mcp add evalscopebench-mcp --url https://evalscopebench.clauxel.com/mcpФайл настроек
{
"mcpServers": {
"evalscopebench-mcp": {
"url": "https://evalscopebench.clauxel.com/mcp"
}
}
}Файл настроек
{
"servers": {
"evalscopebench-mcp": {
"type": "http",
"url": "https://evalscopebench.clauxel.com/mcp"
}
}
}Командой платформы: удалённый сервер
gemini mcp add -t http evalscopebench-mcp https://evalscopebench.clauxel.com/mcpПо шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о evalscopebench-mcp
Как установить evalscopebench-mcp в Claude Code?
Выполните claude mcp add --transport http evalscopebench-mcp https://evalscopebench.clauxel.com/mcp. Перед этим получите bearer-токен на сайте продукта — без него продакшн-вызовы не пройдут.
Что делает evalscopebench-mcp?
Даёт агенту инструменты для прогона бенчмарков AI SDK, сравнения оценок моделей, чтения отчётов и выдачи квитанций по операциям.
Нужен ли токен для работы?
Да, это платный hosted-сервис. Запросы в продакшне идут с заголовком Authorization: Bearer <token>, токен выдаётся на сайте после выбора плана.
