К основному содержанию
субагент CX Codex

eval-orchestrator — субагент для Claude Code: оценка качества плагинов

Координирует проверку качества плагинов и скиллов: статический анализ, оценка судьёй и итоговый балл с бейджем.

Установить в Claude Code · Через маркетплейс плагинов Все способы и платформы ↓
/plugin marketplace add wshobson/agents
/plugin install plugin-eval@claude-code-workflows
Открыть на GitHub

Что делает eval-orchestrator

Субагент eval-orchestrator из набора PluginEval ведёт оценку плагинов Claude по слоям. Сначала он запускает статический анализ через Python CLI командой uv run plugin-eval score <path> --depth quick --output json и разбирает поля composite.score и composite.dimensions.

Если нужна глубина standard и выше, оркестратор передаёт содержимое скилла субагенту eval-judge. Тот возвращает оценки по четырём измерениям: triggering_accuracy (F1), orchestration_fitness, output_quality и scope_calibration. Дальше баллы двух слоёв смешиваются по фиксированным весам для десяти измерений, итог умножается на штраф за анти-паттерны и переводится в стобалльную шкалу.

По результату присваивается бейдж: Platinum от 90, Gold от 80, Silver от 70, Bronze от 60. Рекомендации строятся вокруг измерений с самым низким баллом. Для запуска статического слоя нужен uv и Python-окружение плагина, потому что команда идёт через uv run.

Какие задачи решает

  • прогнать статический анализ плагина и получить JSON с оценками
  • смешать баллы статики и LLM-судьи в один итоговый балл
  • присвоить плагину бейдж по стобалльной шкале
  • найти измерения с самым низким баллом и анти-паттерны
  • оценить точность срабатывания скилла через F1

Примеры запросов агенту

  • оцени плагин в ./plugins/my-plugin и покажи итоговый балл
  • прогони полную оценку скилла на глубине standard и выпиши рекомендации
  • посчитай композитный балл и скажи, какой бейдж получится

Как установить eval-orchestrator

1Через маркетплейс плагинов

/plugin marketplace add wshobson/agents
/plugin install plugin-eval@claude-code-workflows

2Вручную: положить файлы

.claude/agents/eval-orchestrator.md

Для всех проектов — ~/.claude/agents/. Claude делегирует задачу сам по полю description или по @-упоминанию

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Из того же набора342

Весь набор →
compliance-check Проверяет, какие регуляторные требования касаются вашего продукта, и подсказывает, как закрыть пробелы перед аудитом. CX Codex ★ 41 729звёзд репо approve-review Открывает окно, в котором действия по ревью проходят без проверки политики. Нужна, когда агенту пора одобрить PR или комментарий. CX Codex ★ 41 729звёзд репо reverse-engineer Субагент для анализа исполняемых файлов: дизассемблирование, декомпиляция, отладка и поиск уязвимостей. Пригодится на CTF и в security-исследованиях. CX Codex ★ 41 729звёзд репо audit-chain Проверяет подписи Ed25519 у всех receipt'ов в receipts.jsonl и показывает строки, которые не прошли. Пригодится перед релизом или аудитом. CX Codex ★ 41 729звёзд репо session-end Субагент закрывает сессию: записывает уроки, открытые проблемы, следующие шаги и состояние, которое не успели сохранить другие обработчики. CX Codex ★ 41 729звёзд репо code-review-preshipment Субагент проходит все изменения с прошлого деплоя по десяти разделам и заканчивает вердиктом SHIP, SHIP WITH FIXES или DO NOT SHIP. CX Codex ★ 41 729звёзд репо monitor-setup Слэш-команда, которая разворачивает сбор метрик Prometheus, дашборды Grafana, распределённую трассировку и агрегацию логов. CX Codex ★ 41 729звёзд репо ml-pipeline Слэш-команда, которая ведёт сборку ML-пайплайна от анализа данных до мониторинга, раздавая этапы профильным субагентам. CX Codex ★ 41 729звёзд репо

Похожие

llm-eval-harness daymade Скилл гоняет чужой LLM-эндпоинт по шести измерениям: доступность, доходимость запроса, скорость, конкурентность, протокол и регрессия качества. CX Codex +1 372установок agentic-eval официальный github Помогает проектировать циклы оценки и доработки ответов ИИ-агента. Пригодится для кода, отчётов и анализа с заданными критериями качества. 10 213установок eval-driven-dev официальный github Настраивает сквозную оценку Python-приложений с LLM: критерии, тестовые данные и проверку результатов. Нужен при QA, бенчмарках и поиске неверных ответов. 3 900установок rag-eval NVIDIA RAG Оценивает качество RAG по файловому набору с corpus/ и train.json. Нужен для сравнения настроек поиска и генерации по метрикам RAGAS. CX Codex +1 2 400установок edge-pipeline-orchestrator tradermonty Собирает исследовательский пайплайн от поиска кандидатов до ревью и экспорта стратегий. Нужен для многоэтапной работы с рыночными данными. CX Codex +1 3 200установок metric-pack-designer официальный OpenAI Codex Скилл помогает описать локальный набор метрик для plugin-eval: рубрики, проверки и метрики в совместимом с схемой виде. CX Codex GP ChatGPT 1установок

Рядом в теме «Настройка агента: память, контекст, субагенты»

Все субагенты по теме «Настройка агента: память, контекст, субагенты» →

Вопросы о eval-orchestrator

Как установить eval-orchestrator в Claude?

Добавьте маркетплейс командой /plugin marketplace add wshobson/agents, затем поставьте плагин: /plugin install plugin-eval@claude-code-workflows.

Что делает eval-orchestrator?

Координирует оценку качества плагинов и скиллов: запускает статический анализ, при глубокой проверке подключает субагента eval-judge, смешивает баллы и выдаёт итоговый результат с бейджем.

Что нужно, чтобы запустить статический анализ?

Команда идёт через uv run plugin-eval score <path> --depth quick --output json, поэтому нужно окружение uv и Python внутри плагина.

Исходный текст

eval-orchestrator.md · MIT
---
name: eval-orchestrator
description: "Orchestrates plugin quality evaluation. Use PROACTIVELY when evaluating, scoring, or certifying plugin quality."
model: opus
---

You are the PluginEval orchestrator. You coordinate quality evaluation of Claude Code plugins using a layered evaluation approach.

## Your Role

When asked to evaluate a plugin or skill:

1. Run Layer 1 (static analysis) via the Python CLI
2. If standard+ depth: Run Layer 2 (LLM judge) by dispatching the `eval-judge` subagent
3. Combine Layer 1 + Layer 2 scores into a final composite
4. Present the results with actionable recommendations

## Step 1: Run Static Analysis

```bash
cd "${CLAUDE_PLUGIN_ROOT}"
uv run plugin-eval score <path> --depth quick --output json
```

This returns JSON with Layer 1 results. Parse the `composite.score` and `composite.dimensions` array.

## Step 2: LLM Judge (Standard+ Depth)

Dispatch the `eval-judge` agent with the skill content. It returns JSON scores for 4 dimensions:
- triggering_accuracy (F1 score)
- orchestration_fitness (rubric 0-1)
- output_quality (rubric 0-1)
- scope_calibration (rubric 0-1)

## Step 3: Compute Final Composite

Blend Layer 1 and Layer 2 scores using these weights per dimension:

| Dimension | Static Weight | Judge Weight | Total Weight |
|-----------|--------------|-------------|-------------|
| triggering_accuracy | 0.375 | 0.625 | 0.25 |
| orchestration_fitness | 0.125 | 0.875 | 0.20 |
| output_quality | 0.0 | 1.0 | 0.15 |
| scope_calibration | 0.353 | 0.647 | 0.12 |
| progressive_disclosure | 1.0 | 0.0 | 0.10 |
| token_efficiency | 0.8 | 0.2 | 0.06 |
| robustness | 0.0 | 1.0 | 0.05 |
| structural_completeness | 0.9 | 0.1 | 0.03 |
| code_template_quality | 0.3 | 0.7 | 0.02 |
| ecosystem_coherence | 0.85 | 0.15 | 0.02 |

Final score = Σ(dimension_weight × blended_score) × 100 × anti_pattern_penalty

## Step 4: Badge Assignment

| Badge | Score | Meaning |
|-------|-------|---------|
| Platinum | ≥90 | Reference quality |
| Gold | ≥80 | Production ready |
| Silver | ≥70 | Functional, needs improvement |
| Bronze | ≥60 | Minimum viable |

## Interpreting Results

Focus recommendations on the lowest-scoring dimensions and any detected anti-patterns.
Present the final report in the markdown table format matching the `plugin-eval` CLI output.

© Seth Hobson · MIT · wshobson/agents

Смотрите также

Спонсоры проекта

Компании, которые помогают держать аналитику открытой