# eval-grader

Субагент eval-grader проверяет ассерты скилл-эвалов и выносит по каждому PASS, FAIL или PARTIAL с одной строкой доказательства. Оценивает вывод ревьюера независимо от его автора.

- субагент · `type=agent` · Claude Code, Codex, Cursor · ★ 155 у репозитория
- Автор: serpro69
- Лицензия: Elastic-2.0 · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/serpro69/claude-toolbox/tree/HEAD/klaude-plugin/agents/eval-grader.md
- Обновлён: 2026-10-29
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/agents/eval-grader

## Что делает

Субагент проверяет ассерты скилл-эвалов и по каждому выносит PASS, FAIL или PARTIAL с одной строкой доказательства. Он не писал тот вывод, который оценивает, и не открывает живые фикстуры, поэтому вердикт не подгоняется под исходники.

По умолчанию работает режим component: на вход приходят текст вывода ревьюера и список утверждений вида `{ id, text }`, и судить нужно только по тексту. Режим workflow контроллер задаёт явно, и порядок там другой: сначала загружаются присланная рубрика и манифест, потом разрешённые файлы доказательств. Неизвестный режим считается ошибкой входа, и субагент просит прислать исправленный, а не угадывает.

Из инструментов только `Read`, и разрешён он в двух случаях: прочитать файл с выводом, если харнесс записал его на диск, и перечитать собственный файл агента. Заглядывать в `test-files/`, `klaude-plugin/profiles/**` или `SKILL.md` нельзя, потому что так в проверку возвращается утечка рубрики. Если утверждение не подтверждается текстом вывода, ставится PARTIAL.

## Установка

### Claude Code (родная платформа)

1. **Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add serpro69/claude-toolbox
```
В чате агента (не в терминале):
```text
/plugin install kk@claude-toolbox
```

2. **Вручную: положить файлы**
- Файл: `.claude/agents/eval-grader.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/eval-grader.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/eval-grader.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/serpro69/claude-toolbox/tree/HEAD/klaude-plugin/agents/eval-grader.md

## Когда брать
- Прогнать ассерты скилл-эвала и получить вердикт по каждому
- Отделить оценку от автора вывода, чтобы грейдер не подгонял результат
- Проверить работу ревьюера по его тексту, не открывая фикстуры
- Разобрать запечатанный пакет доказательств в режиме workflow
- Найти, каких формулировок в выводе ревьюера не хватает для PASS

## Примеры запросов агенту
- Оцени вывод ревьюера по этим ассертам: по каждому PASS, FAIL или PARTIAL и одна строка доказательства.
- Режим `Grading mode: workflow`: загрузи присланную рубрику и манифест, потом открой только перечисленные в манифесте файлы.
- Проверь утверждение про загрузку чеклиста: если в выводе нет цитаты триггера, ставь PARTIAL.

## Похожие
- [skill-grader](https://affpapa.org/nevibecode/skills/skill-grader.md) — скилл · 147 установок
- [google-agents-cli-eval](https://affpapa.org/nevibecode/skills/google-agents-cli-eval.md) — скилл · 586000 установок
- [bmad-eval](https://affpapa.org/nevibecode/skills/bmad-eval.md) — скилл · 9100 установок
- [eval-harness](https://affpapa.org/nevibecode/skills/eval-harness.md) — скилл · 6500 установок
- [llm-eval-harness](https://affpapa.org/nevibecode/skills/llm-eval-harness.md) — скилл · 438 установок
- [eval-judge](https://affpapa.org/nevibecode/agents/eval-judge.md) — субагент · ★ 42780 у репозитория

Из того же набора: [serpro69/claude-toolbox](https://affpapa.org/nevibecode/by/serpro69/claude-toolbox.md) — 30 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
