К основному содержанию
субагент CX Codex

eval-grader — субагент для Claude Code: установка и режимы проверки

Субагент eval-grader проверяет ассерты скилл-эвалов и выносит по каждому PASS, FAIL или PARTIAL с одной строкой доказательства. Оценивает вывод ревьюера независимо от его автора.

Elastic-2.0 ★ 155 обновлён 2026-10-29

Установить в Claude Code · Через маркетплейс плагинов Все способы и платформы ↓
/plugin marketplace add serpro69/claude-toolbox
/plugin install kk@claude-toolbox
Открыть на GitHub

Что делает eval-grader

Субагент проверяет ассерты скилл-эвалов и по каждому выносит PASS, FAIL или PARTIAL с одной строкой доказательства. Он не писал тот вывод, который оценивает, и не открывает живые фикстуры, поэтому вердикт не подгоняется под исходники.

По умолчанию работает режим component: на вход приходят текст вывода ревьюера и список утверждений вида { id, text }, и судить нужно только по тексту. Режим workflow контроллер задаёт явно, и порядок там другой: сначала загружаются присланная рубрика и манифест, потом разрешённые файлы доказательств. Неизвестный режим считается ошибкой входа, и субагент просит прислать исправленный, а не угадывает.

Из инструментов только Read, и разрешён он в двух случаях: прочитать файл с выводом, если харнесс записал его на диск, и перечитать собственный файл агента. Заглядывать в test-files/, klaude-plugin/profiles/** или SKILL.md нельзя, потому что так в проверку возвращается утечка рубрики. Если утверждение не подтверждается текстом вывода, ставится PARTIAL.

Какие задачи решает

  • Прогнать ассерты скилл-эвала и получить вердикт по каждому
  • Отделить оценку от автора вывода, чтобы грейдер не подгонял результат
  • Проверить работу ревьюера по его тексту, не открывая фикстуры
  • Разобрать запечатанный пакет доказательств в режиме workflow
  • Найти, каких формулировок в выводе ревьюера не хватает для PASS

Примеры запросов агенту

  • Оцени вывод ревьюера по этим ассертам: по каждому PASS, FAIL или PARTIAL и одна строка доказательства.
  • Режим Grading mode: workflow: загрузи присланную рубрику и манифест, потом открой только перечисленные в манифесте файлы.
  • Проверь утверждение про загрузку чеклиста: если в выводе нет цитаты триггера, ставь PARTIAL.

Как установить eval-grader

1Через маркетплейс плагинов

/plugin marketplace add serpro69/claude-toolbox
/plugin install kk@claude-toolbox

2Вручную: положить файлы

.claude/agents/eval-grader.md

Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы об eval-grader

Как установить eval-grader в Claude Code?

Через маркетплейс: сначала /plugin marketplace add serpro69/claude-toolbox, затем /plugin install kk@claude-toolbox. Файл агента после этого лежит в .claude/agents/eval-grader.md.

Что делает eval-grader?

Сверяет вывод ревьюера с присланными ассертами и по каждому даёт PASS, FAIL или PARTIAL, добавляя одну строку с цитатой или указанием, чего в тексте нет.

Чем режим workflow отличается от component?

В component оценивается только текст вывода, трейсы выполнения на оценку не влияют. Workflow включает контроллер, и тогда сначала читаются рубрика с манифестом, а уже потом запечатанные доказательства.

Похожие субагенты

Все субагенты по теме «Тесты и QA» →
skill-grader curiositech Скилл skill-grader для Claude Code оценивает Claude Agent Skills по 10 осям, выставляет оценки от A+ до F и предлагает улучшения. Для аудита одного скилла, сравнения нескольких или проверки библиотеки. CX Codex +1 147установок google-agents-cli-eval официальный Google Скилл google-agents-cli-eval оценивает качество ИИ-агентов через agents-cli, находит ошибки и сравнивает прогоны. Включается при отладке датасетов и проверке метрик в проектах на базе Gemini. CX Codex +1 586 000установок bmad-eval bmad-code-org Скилл bmad-eval для Claude Code, Codex, Cursor и Copilot, который прогоняет тесты другого скилла и отчитывается о результатах. Запускается, когда нужно проверить триггеры описания, сравнить версии или оценить качество по рубрике. CX Codex +1 9 100установок eval-harness affaan-m Скилл eval-harness для Claude Code, Codex, Cursor и других агентных платформ, реализующий eval-driven development: критерии успеха определяются до написания кода, результаты измеряются метриками pass@k и pass^k. CX Codex +1 6 500установок llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок eval-judge Seth Hobson Субагент eval-judge оценивает скиллы плагинов по четырём критериям качества и возвращает структурированный JSON с баллами от 0.0 до 1.0. CX Codex ★ 42 780звёзд репо

Из того же набора30

Весь набор →
review-code Скилл review-code проверяет текущие изменения в git с акцентом на архитектуру SOLID и риски безопасности. Помогает найти регрессии до слияния веток. CX Codex +1 ★ 155звёзд репо review-design Скилл review-design для Claude Code проверяет документы дизайна перед началом реализации. Запускается после $kk:design; стандартный режим охватывает все документы. CX Codex +1 ★ 155звёзд репо review-spec Скилл review-spec сверяет написанный код с документами фичи и показывает, где одно разошлось с другим: и код, и устаревшие спеки. CX Codex +1 ★ 155звёзд репо design-reviewer Субагент design-reviewer проверяет проектные спецификации и планы задач без контекста прошлых обсуждений. Помогает найти противоречия и технические риски до написания кода. CX Codex ★ 155звёзд репо spec-reviewer Субагент spec-reviewer в Claude Code сверяет код с дизайн-документами. Он проводит независимую проверку реализации на пропуски, отклонения от требований и противоречия в документации. CX Codex ★ 155звёзд репо code-reviewer code-reviewer — субагент для Claude Code, который независимо проверяет git diff на соответствие SOLID, архитектурные дефекты и уязвимости. CX Codex ★ 155звёзд репо implement Скилл implement ведёт задачу от выбора режима до проверки и код-ревью. Подходит для работы по плану и отдельных исправлений. CX Codex +1 ★ 155звёзд репо kk Плагин kk ведёт ассистента по цепочке от проектирования до ревью, тестов и документации, а хук-страж закрывает секреты и опасные команды. CX Codex ★ 155звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой