К основному содержанию
скилл CX Codex

agent-plugin-eval — скилл для Claude Code: аудит плагинов

Скилл agent-plugin-eval для Claude Code проверяет Agent Plugins по спецификации, выставляет оценку и сравнивает два репозитория. Задача — ревью перед выпуском.

Apache-2.0 ★ 141 обновлён 2026-10-29

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add fabricioctelles/skills --skill agent-plugin-eval -a claude-code
Открыть на GitHub

Что делает agent-plugin-eval

agent-plugin-eval проверяет репозиторий портативного Agent Plugin по спецификации. Он ищет корень с plugin.json, учитывает файлы, симлинки, расширения клиентов, скиллы и записи mcpServers, а затем формирует оценку от 0 до 100 с доказательствами по файлам и строкам.

Для детерминированной проверки скилл запускает python3 scripts/inspect_plugin.py <plugin-root> --json, сверяет результаты со спецификацией и считает итог через python3 scripts/score.py. Он умеет разобрать локальный путь или Git URL, а также сопоставить два плагина. Без явного разрешения скилл не запускает исполняемые файлы, хуки, серверы MCP, менеджеры пакетов и сетевые тесты.

В отчёте разделяются переносимая совместимость и особенности конкретного клиента. Нарушения получают статусы PASS, PARTIAL или FAIL, а для каждого балла нужны конкретные подтверждения.

Какие задачи решает

  • проверить корень плагина и plugin.json
  • сверить структуру репозитория со спецификацией Agent Plugins
  • оценить вложенные скиллы и серверы MCP
  • найти блокеры перед выпуском
  • сравнить два Agent Plugins по единой шкале

Примеры запросов агенту

  • Проведи аудит Agent Plugin в текущем репозитории и дай оценку от 0 до 100 с указанием файлов и строк.
  • Проверь plugin.json, mcp.json, вложенные скиллы и записи mcpServers, не запуская код.
  • Сравни этот репозиторий с Git URL второго Agent Plugin и покажи различия по соответствию спецификации.

Как установить agent-plugin-eval

1Через Skills CLI (Vercel)

npx skills add fabricioctelles/skills --skill agent-plugin-eval -a claude-code

2Вручную: положить файлы

~/.claude/skills/agent-plugin-eval/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/agent-plugin-eval/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об agent-plugin-eval

Как установить agent-plugin-eval в Claude Code?

Выполните npx skills add fabricioctelles/skills --skill agent-plugin-eval -a claude-code. Затем скилл будет доступен по пути ~/.claude/skills/agent-plugin-eval/SKILL.md.

Что делает agent-plugin-eval?

Он проводит статический аудит Agent Plugin, проверяет plugin.json, скиллы и серверы MCP, присваивает статус соответствия и рассчитывает scorecard с доказательствами. Также он сравнивает два плагина.

Запускает ли скилл код из проверяемого репозитория?

Нет, по умолчанию аудит остаётся статическим. Исполняемые файлы, хуки, install-скрипты, менеджеры пакетов, MCP-серверы и сетевые тесты запускаются только после явного разрешения.

Исходный текст

SKILL.md · Apache-2.0
---
name: agent-plugin-eval
description: Audit, score, and compare repositories containing portable Agent Plugins against the official Agent Plugins specification. Use when asked to review a plugin repo, check plugin.json or mcp.json conformance, assess bundled skills and MCP servers, produce an evidence-cited 0–100 plugin scorecard, identify release blockers, or compare two agent plugins side by side.
---

# Agent Plugin Evaluation

Treat the portable Agent Plugins specification as the authority. A client-native
manifest (e.g., `.codex-plugin/plugin.json`, `.claude/settings.json`,
`.cursor/mcp.json`) does not replace the required root `plugin.json`.

## Parameters

| Parameter | Description | Default |
|---|---|---|
| `target` | Local repository/plugin path or Git URL | Ask if missing |
| `compare` | Optional second path or Git URL | None |
| `output` | Scorecard destination | Reply only; write only when requested |
| `spec_version` | Agent Plugins version to evaluate | Version declared by `plugin.json`, or `1.0.0` |

## Safety boundary

Audit untrusted repositories statically. Do not run bundled executables, hooks,
install scripts, package managers, MCP servers, or networked tests unless the
user explicitly authorizes execution. Redact suspected secret values; report
only their location and kind. A secret-like key or value is a suspicion, not
confirmation: do not assign the `FAIL` gate without corroborating evidence such
as a recognized live credential format, a trusted secret scanner, repository
history/provenance, or user confirmation. Never test a credential against a
service merely to confirm it.

## Workflow

1. **Resolve the plugin root.** Use a local target in place. For a Git URL,
   shallow-clone into a `mktemp -d` directory. A plugin root contains root
   `plugin.json`; if a repo has zero or multiple candidates, report the
   ambiguity instead of guessing. Done when every target maps to one explicit
   plugin root.
2. **Load the governing rules.** Read `references/spec-checklist.md` and
   `references/rubric.md`. For Agent Plugins `1.0.0`, use the bundled snapshot.
   For another declared version, or when the user asks for the latest spec,
   browse the canonical specification and schemas at `agent-plugins.org` and
   record the evaluated version and retrieval date. The normative text wins if
   it conflicts with JSON Schema.
3. **Inventory every package path.** Include dotfiles, symlinks, immediate
   skill children, extension namespaces, executable files, and files ignored
   by Git. Resolve every symlink and package-relative path against the plugin
   root. Done when every discovered path is accounted for as portable core,
   client extension, supporting file, or containment violation.
4. **Run the deterministic scan.** Execute
   `python3 scripts/inspect_plugin.py <plugin-root> --json`. Treat its output as
   evidence leads, not the final judgment. Confirm each reported issue in the
   source and add `file:line` or JSON-pointer evidence. Never weaken a
   normative finding merely because a client happens to accept it.
5. **Review components completely.** Inspect every immediate
   `skills/*/SKILL.md` and every `mcpServers` entry. Validate Agent Skills
   against their own specification. Assess instructions, resources, scripts,
   MCP configuration, extension isolation, cohesion, and practical utility.
   If `skill-evaluation` is available, it may deepen individual skill-quality
   analysis, but it never replaces this plugin-level rubric.
6. **Classify conformance before scoring.** Use the exact failure boundaries in
   `references/spec-checklist.md`: `PASS`, `PARTIAL`, or `FAIL`. Keep client
   compatibility separate from portable conformance. A client-specific feature
   may be excellent for that client and still add zero portable coverage.
7. **Score with cite-or-cut.** Score all applicable rubric criteria from
   `references/rubric.md`. Every score needs specific evidence; every `N/A`
   needs a reason. Run `scripts/score.py` for the weighted result and gate cap;
   do not calculate it by hand. Done when all criteria and all findings are
   reconciled with the conformance status.
8. **Answer in the requested language.** Read
   `references/output-template.md` and emit that structure. Lead with the
   verdict, distinguish blockers from recommendations, and provide concrete
   fixes. When `compare` is set, evaluate both independently before computing
   deltas; never force the same N/A set on both plugins.

## Gates and scoring

- `PASS`: no normative violation found; no score cap.
- `PARTIAL`: non-fatal manifest deviation or invalid/skipped component; final
  score capped at 59.
- `FAIL`: fatal manifest/package-root failure, root-manifest escape, or
  confirmed embedded credential; final score capped at 39.
- Keep the uncapped score visible so authors can distinguish design quality
  from release-blocking conformance.

Invoke the calculator with one `criterion:score:weight` triple per criterion:

```bash
python3 scripts/score.py --gate partial 1:90:3 2:80:3 3:NA:2
```

## Evaluation with Jev (Optional)

When [TypeSafe Jev](https://github.com/AugmentHCI/typesafe-jev) is available,
use it for subjective quality criteria. Jev provides calibrated probability
judgments that augment the deterministic checks.

### When to use Jev

| Evaluation Type | Use Jev? | Method |
|-----------------|----------|--------|
| Axes 1-3 conformance | No | Deterministic (`inspect_plugin.py`) |
| Axis 4 product quality | **Yes** | Score (UX, docs, errors) |
| Axis 2 quality criteria | **Yes** | Score (schema design, naming) |
| Gate classification | **Yes** | Noul (pass/fail categories) |
| Secret detection | **Yes** | Noul (suspected/not_suspected) |
| Quality checklist | **Yes** | Noul (present/missing) |

### Discovery protocol

```python
from typesafe import jev_available

if jev_available():
    from typesafe import Score, Noul
    # Use Jev for subjective criteria
else:
    # Fall back to heuristic scoring
```

### Questions and integration

Questions are defined in `scripts/jev_questions.json`:

- **7 Score questions**: Axis 4 (UX coherence, documentation clarity, error
  handling) and Axis 2 (validation, schema design, naming, API elegance)
- **20 Noul questions**: Gates (G1-G4), secrets (4), quality checklist (7),
  component validity (4)

Score results (0.0-1.0) are averaged per axis and scaled to the rubric (0-25).
Noul results provide categorical classifications for gates and checklists.

See `references/jev-integration.md` for full integration patterns and code
examples.

### Output format

When Jev is used, the scorecard includes a `jev` section:

```json
{
  "jev": {
    "available": true,
    "quality_scores": { "ux_coherence": 0.72, ... },
    "gate_classifications": { "G1": {"label": "conformant", "passed": true} },
    "secret_findings": { "requires_review": false }
  }
}
```

## Gotchas

- The v1 portable core contains exactly Agent Skills and MCP servers. Hooks,
  commands, agents, apps, marketplaces, and distribution policy are
  client-specific unless placed in a valid extension namespace.
- Missing optional `skills/` or `mcp.json` is not an error. A present path of
  the wrong filesystem kind is an invalid component type.
- Unknown root manifest fields are schema violations but have the spec's
  narrow non-fatal handling; most other manifest schema violations reject the
  whole plugin.
- One invalid skill or MCP server must not be reported as if every independent
  component were invalid.
- `${PLUGIN_ROOT}` and `${PLUGIN_DATA}` expand only in MCP `args`, `env` values,
  and `cwd`; never in `command`, URLs, or headers.
- A high-quality client-native plugin can still fail the portable standard when
  root `plugin.json` is absent. Report both facts without averaging them away.
- Keep possible credentials labeled “suspected” and redacted. A heuristic hit
  alone lowers the security score and demands remediation review, but does not
  become a confirmed-credential `FAIL` gate.

## Final quality gate

- [ ] Every target resolved to exactly one root
- [ ] Every file, symlink, skill, MCP server, and extension inspected
- [ ] Every normative violation mapped to its correct failure boundary
- [ ] Every score cited and every N/A justified
- [ ] Suspected secrets redacted
- [ ] Score produced by `scripts/score.py`
- [ ] Comparison deltas use independently computed scores

© fabricioctelles · Apache-2.0 · fabricioctelles/skills

Похожие скиллы

Все скиллы по теме «Настройка агента: память, контекст, субагенты» →
wasp-nest-core Legion Code Inc. Плагин wasp-nest-core для Claude Code и Codex маршрутизирует задачи, проводит ревью, работает с Git и документацией. Устанавливается перед дополнительными паками. CX Codex ★ 96звёзд репо self-eval Alireza Rezvani Скилл self-eval оценивает работу ИИ по двум осям, проверяет завышение баллов и сохраняет историю оценок. Подходит после задачи, ревью или рабочей сессии. CX Codex +1 575установок gstack garrytan Скилл gstack для Claude Code подбирает под запрос один из скиллов набора: планирование, ревью, QA, релиз, документация, безопасность, дизайн. CX Codex +1 24 900установок codex-delegate amElnagdy Скилл codex-delegate для Claude Code передаёт задачу OpenAI Codex CLI в фоновую работу. Затем агент читает diff, повторно запускает проверки и сам применяет изменения. CX Codex +1 8 400установок printing-press-output-review mvanhorn Скилл printing-press-output-review для Claude Code проверяет сэмплы вывода CLI и выявляет смысловые ошибки, пропуски источников и проблемы с порядком результатов. CX Codex +1 6 700установок skill-improver trailofbits Скилл skill-improver запускает цикл проверки и исправления другого скилла до чистого ревью. Для работы нужен плагин plugin-dev с агентом skill-reviewer. CX Codex +1 5 600установок

Из того же набора46

Весь набор →
geo-optimization Скилл geo-optimization оптимизирует контент сайтов под ответы нейросетей и цитирование в ChatGPT, Perplexity, Claude и Google AI Overview. CX Codex +1 ★ 141звёзд репо human-ai Скилл human-ai редактирует английский текст: убирает шаблонные обороты и сохраняет факты, смысл и голос автора. Подходит для правки черновиков и заметок. CX Codex +1 ★ 141звёзд репо design-md-validator Скилл design-md-validator проверяет DESIGN.md на соответствие спецификации Google через CLI-линтер @google/design.md. Находит битые ссылки на токены и считает контраст по WCAG. CX Codex +1 ★ 141звёзд репо humanizar Скилл humanizar редактирует и пишет тексты на бразильском португальском без штампов нейросетей, строго сохраняя факты автора. CX Codex +1 ★ 141звёзд репо loop-architect Скилл loop-architect проектирует агент-луп с проверкой по best practice и кросс-модельными воротами рецензирования. Помогает, если нужно построить итеративный рабочий процесс, self-review луп, LLM-as-judge или многомодельный совет. CX Codex +1 ★ 141звёзд репо astro-sites-manager Скилл astro-sites-manager помогает создавать и обновлять проекты на Astro v7, настраивать фоновый dev-сервер для агентов и связываться с MCP-сервером astro-docs. CX Codex +1 ★ 141звёзд репо ralph-loop-kiro-specs Скилл ralph-loop-kiro-specs запускает kiro-cli в цикле и берёт по одной задаче из спеки Kiro за итерацию. Пригодится, чтобы автоматизировать выполнение задач и проверку критериев выхода. CX Codex +1 ★ 141звёзд репо security-specialist Скилл security-specialist запускает аудит кодовой базы, строит модель угроз, находит подтверждённые уязвимости и оформляет отчёт в HTML. Помогает проверить репозиторий или пулреквест на эксплуатируемые ошибки. CX Codex +1 ★ 141звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой