К основному содержанию
MCP-сервер CX Codex

Scorecard — MCP-сервер для Claude Code: тесты LLM-приложений

MCP-сервер Scorecard для проверки LLM-приложений: прогоняет тесты, следит за ответами модели и снимает метрики производительности прямо из вашего ИИ-клиента.

лицензия не указана обновлён 2026-10-29

Открыть на GitHub

Что делает Scorecard

Scorecard — MCP-сервер для проверки LLM-приложений: тесты по заданным сценариям и наблюдение за поведением модели. Нужен на том этапе, когда приложение на LLM уже собрано и пора понять, как оно отвечает на деле.

Помимо тестов и мониторинга сервер даёт бенчмарки производительности. Заявлен он для Claude, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed и Gemini CLI.

Автор — docker. Если вы работаете в одном клиенте и менять его не планируете, остальные клиенты из списка вам ничего не дадут.

Какие задачи решает

  • прогнать LLM-приложение по структурированным тестам
  • держать мониторинг ответов модели после изменений
  • замерить производительность и сравнить прогоны
  • оценить LLM-приложение перед релизом

Примеры запросов агенту

  • Прогони мой LLM-сервис через Scorecard и покажи, какие тесты упали.
  • Сними метрики производительности через Scorecard на последней сборке.
  • Включи мониторинг ответов модели через Scorecard и скажи, что изменилось за сутки.

Как установить Scorecard

Установка

Команды запуска нет в реестре MCP — смотрите README репозитория

По шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие

Вопросы о Scorecard

Что делает Scorecard?

Прогоняет LLM-приложение через структурированные тесты, следит за поведением модели и снимает метрики производительности. Всё это доступно из ИИ-клиента, к которому подключён сервер.

С какими клиентами работает Scorecard?

Сервер заявлен для Claude, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed и Gemini CLI. В каждом из них он работает как MCP-сервер.

Scorecard — это плагин или MCP-сервер?

Это MCP-сервер от docker: он подключается к ИИ-клиенту и отдаёт ему инструменты для тестов, мониторинга и бенчмарков LLM-приложений.

Похожие MCP-серверы

Все MCP-серверы по теме «Тесты и QA» →
llm-evaluation Seth Hobson Скилл llm-evaluation для Claude Code, Codex и Cursor: оценка качества LLM-приложений через автоматические метрики, разметку человеком, LLM-as-judge и бенчмарки. Ловит регрессии перед деплоем и сравнивает модели. CX Codex +1 12 755установок agent-evaluation davila7 Скилл agent-evaluation помогает проверять поведение ИИ-агентов, оценивать их возможности и замечать нестабильные результаты. Используйте его при подготовке агента к работе в реальных условиях. CX Codex +1 378установок evaluation-harness patricio0312rev Скилл evaluation-harness для Claude Code и ещё пяти агентных платформ, который выстраивает повторяемую оценку LLM-приложений: golden-датасеты, рубрики скоринга, пороги pass/fail и отчёты о регрессиях. CX Codex +1 275установок genai-hub-prompt-evaluation SAP Скилл genai-hub-prompt-evaluation для Claude Code и других платформ оценивает генеративные модели и промпты на SAP AI Core. Запускается при обращении к бенчмаркам LLM, метрикам и конфигурациям оркестрации. CX Codex +1 185установок inference-optimisation sybil-solutions Скилл inference-optimisation для Claude Code ускоряет локальный сервер LLM через измерения, A/B-эксперименты и подбор настроек. Запускается для поиска предела tok/s. CX Codex +1 ★ 1 699звёзд репо agent-eval affaan-m Скилл agent-eval сравнивает кодинг-агентов на ваших задачах по точности, стоимости и времени. Помогает выбрать инструмент на реальных тестах без опоры на субъективные впечатления. CX Codex +1 6 200установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой