# eval-judge

Оценивает скиллы плагинов по четырём критериям качества и возвращает структурированный JSON с баллами от 0.0 до 1.0.

- субагент · `type=agent` · Claude Code, Codex, Cursor · ★ 41823
- Автор: Seth Hobson
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/wshobson/agents/tree/HEAD/plugins/plugin-eval/agents/eval-judge.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/agents/eval-judge

## Что делает

Субагент выступает экспертным оценщиком для скиллов Claude Code. Пользователь передаёт ему путь к директории скилла, после чего агент изучает файл `SKILL.md` и вложенные материалы через инструменты `Read`, `Grep` и `Glob`. Вся работа субагента построена на модели `sonnet`.

Проверка опирается на четыре шкалы с чёткими ориентирами. Субагент тестирует точность формулировки триггеров в описании frontmatter через F1-метрику на десяти сценариях. Далее он проверяет роль скилла: компонент обязан быть исполнителем, а не управлять другими инструментами или процессами. Наконец, агент симулирует три задачи для проверки качества инструкций и замеряет полноту охвата темы.

Субагент возвращает исключительно сырой JSON без markdown-блоков и текста вокруг. Для запуска обязательно требуется директория с файлом `SKILL.md`, иначе оценщику не из чего будет извлечь инструкции.

## Установка

### Claude Code (родная платформа)

1. **Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add wshobson/agents
```
В чате агента (не в терминале):
```text
/plugin install plugin-eval@claude-code-workflows
```

2. **Вручную: положить файлы**
- Файл: `.claude/agents/eval-judge.md` — Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

### Codex

**Вручную: положить файлы**
- Файл: `.codex/agents/eval-judge.toml` — Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/agents/eval-judge.md` — Cursor понимает и .claude/agents/

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/wshobson/agents/tree/HEAD/plugins/plugin-eval/agents/eval-judge.md

## Когда брать
- проверить точность описания скилла на ложные срабатывания
- убедиться, что скилл работает как исполнитель, а не оркестратор
- протестировать полноту инструкций скилла на рабочих сценариях
- получить машиночитаемый JSON-отчёт с баллами качества

## Примеры запросов агенту
- Оцени качество скилла в папке ./plugins/my-skill
- Проверь скилл по пути skills/git-helper и верни JSON с оценками

## Похожие
- [frontend-developer](https://affpapa.org/nevibecode/agents/voltagent-community-frontend-developer.md) — субагент · 40905 установок
- [dx-optimizer](https://affpapa.org/nevibecode/agents/dx-optimizer.md) — субагент · 1198 установок
- [mlops-engineer](https://affpapa.org/nevibecode/agents/voltagent-community-mlops-engineer.md) — субагент · 1009 установок
- [postgres-pro](https://affpapa.org/nevibecode/agents/postgres-pro.md) — субагент · 897 установок
- [agent-installer](https://affpapa.org/nevibecode/agents/agent-installer.md) — субагент · 363 установки
- [embedded-systems](https://affpapa.org/nevibecode/agents/embedded-systems.md) — субагент · 279 установок

Из того же набора: [wshobson/agents](https://affpapa.org/nevibecode/by/wshobson/agents.md) — 508 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md