eval-grader — субагент для Claude Code: установка и режимы проверки
Субагент eval-grader проверяет ассерты скилл-эвалов и выносит по каждому PASS, FAIL или PARTIAL с одной строкой доказательства. Оценивает вывод ревьюера независимо от его автора.
Elastic-2.0 ★ 155 обновлён 2026-10-29
/plugin marketplace add serpro69/claude-toolbox
/plugin install kk@claude-toolboxЧто делает eval-grader
Субагент проверяет ассерты скилл-эвалов и по каждому выносит PASS, FAIL или PARTIAL с одной строкой доказательства. Он не писал тот вывод, который оценивает, и не открывает живые фикстуры, поэтому вердикт не подгоняется под исходники.
По умолчанию работает режим component: на вход приходят текст вывода ревьюера и список утверждений вида { id, text }, и судить нужно только по тексту. Режим workflow контроллер задаёт явно, и порядок там другой: сначала загружаются присланная рубрика и манифест, потом разрешённые файлы доказательств. Неизвестный режим считается ошибкой входа, и субагент просит прислать исправленный, а не угадывает.
Из инструментов только Read, и разрешён он в двух случаях: прочитать файл с выводом, если харнесс записал его на диск, и перечитать собственный файл агента. Заглядывать в test-files/, klaude-plugin/profiles/** или SKILL.md нельзя, потому что так в проверку возвращается утечка рубрики. Если утверждение не подтверждается текстом вывода, ставится PARTIAL.
Какие задачи решает
- Прогнать ассерты скилл-эвала и получить вердикт по каждому
- Отделить оценку от автора вывода, чтобы грейдер не подгонял результат
- Проверить работу ревьюера по его тексту, не открывая фикстуры
- Разобрать запечатанный пакет доказательств в режиме workflow
- Найти, каких формулировок в выводе ревьюера не хватает для PASS
Примеры запросов агенту
- Оцени вывод ревьюера по этим ассертам: по каждому PASS, FAIL или PARTIAL и одна строка доказательства.
- Режим
Grading mode: workflow: загрузи присланную рубрику и манифест, потом открой только перечисленные в манифесте файлы. - Проверь утверждение про загрузку чеклиста: если в выводе нет цитаты триггера, ставь PARTIAL.
Как установить eval-grader
1Через маркетплейс плагинов
/plugin marketplace add serpro69/claude-toolbox/plugin install kk@claude-toolbox2Вручную: положить файлы
.claude/agents/eval-grader.mdДля всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию
Вручную: положить файлы
.codex/agents/eval-grader.tomlCodex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/
Вручную: положить файлы
.cursor/agents/eval-grader.mdCursor понимает и .claude/agents/
По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст
Вопросы об eval-grader
Как установить eval-grader в Claude Code?
Через маркетплейс: сначала /plugin marketplace add serpro69/claude-toolbox, затем /plugin install kk@claude-toolbox. Файл агента после этого лежит в .claude/agents/eval-grader.md.
Что делает eval-grader?
Сверяет вывод ревьюера с присланными ассертами и по каждому даёт PASS, FAIL или PARTIAL, добавляя одну строку с цитатой или указанием, чего в тексте нет.
Чем режим workflow отличается от component?
В component оценивается только текст вывода, трейсы выполнения на оценку не влияют. Workflow включает контроллер, и тогда сначала читаются рубрика с манифестом, а уже потом запечатанные доказательства.