evaluate-plugin — скилл для Codex: аудит плагинов и отчёт
Разбирает локальный плагин Codex по шагам и говорит, что чинить первым. Пригодится перед сравнением версий.
npx skills add openai/plugins --skill evaluate-plugin -a codexЧто делает evaluate-plugin
Скилл работает с корнем плагина, где лежит .codex-plugin/plugin.json. Запрос вроде «оцени этот плагин» он принимает как точку входа и сначала прогоняет plugin-eval start <plugin-root> --request "<user request>" --format markdown, чтобы вы увидели, куда ушёл локальный путь.
Дальше идёт plugin-eval analyze <plugin-root> --format markdown. Читать отчёт стоит с блока Fix First, и только потом лезть в манифест, вложенные скиллы и покрытие кода. Если скиллов внутри несколько, скилл отдельно называет самый сильный и самый слабый.
Нужен замер использования — переключайтесь на бенчмарк: plugin-eval init-benchmark <plugin-root>, затем plugin-eval benchmark <plugin-root> --dry-run. Для динамики по версиям есть plugin-eval compare before.json after.json. Учтите: без установленного plugin-eval команды не отработают, а HTML-отчёт собирается отдельно через plugin-eval report result.json --format html --output ./plugin-eval-report.html.
Какие задачи решает
- разобрать локальный плагин Codex и получить отчёт по пунктам
- понять, почему плагин получил именно такую оценку
- выбрать, что исправить в первую очередь
- сравнить две версии плагина по JSON-выгрузкам
- собрать HTML-отчёт для команды
Примеры запросов агенту
- Оцени этот плагин.
- Что мне чинить первым?
- Помоги прогнать бенчмарк для этого плагина.
Как установить evaluate-plugin
1Через Skills CLI (Vercel)
npx skills add openai/plugins --skill evaluate-plugin -a codex2Вручную: положить файлы
.agents/skills/evaluate-plugin/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add openai/plugins --skill evaluate-plugin -a claude-code2Вручную: положить файлы
~/.claude/skills/evaluate-plugin/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/evaluate-plugin/
Вручную: положить файлы
.cursor/skills/evaluate-plugin/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install openai/plugins evaluate-plugin2Вручную: положить файлы
.github/skills/evaluate-plugin/SKILL.mdКомандой платформы
gemini skills install https://github.com/openai/plugins --path plugins/plugin-eval/skills/evaluate-pluginВручную: положить файлы
.devin/skills/evaluate-plugin/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Скиллы Codex: как установить, где лежат и как вызвать
Вопросы о evaluate-plugin
Как установить evaluate-plugin в Claude?
Через skills CLI: npx skills add openai/plugins --skill evaluate-plugin, затем вариант с явной платформой npx skills add openai/plugins --skill evaluate-plugin -a codex. После установки файл скилла лежит в .agents/skills/evaluate-plugin/SKILL.md.
Что делает evaluate-plugin?
Прогоняет локальный плагин Claude через plugin-eval, показывает разбор манифеста, вложенных скиллов и покрытия кода, а в начале отчёта выдаёт блок Fix First с приоритетами.
Чем отличается анализ от бенчмарка?
plugin-eval analyze даёт статический отчёт по плагину, а бенчмарк измеряет использование: сначала plugin-eval init-benchmark <plugin-root>, потом plugin-eval benchmark <plugin-root> --dry-run.
Исходный текст
SKILL.md · MIT
--- name: evaluate-plugin description: Evaluate a local Codex plugin in engineer-friendly language. Use when the user says "evaluate this plugin", "audit this plugin", "why did this score that way", "what should I fix first", "help me benchmark this plugin", or asks for a plugin-wide report before comparing versions. --- # Evaluate Plugin Use this skill when the target is a plugin root with `.codex-plugin/plugin.json`. ## Workflow 1. Treat "Evaluate this plugin." as the default entrypoint. 2. If the request comes in as natural chat language, use `plugin-eval start <plugin-root> --request "<user request>" --format markdown` first so the user sees the routed local path. 3. Run `plugin-eval analyze <plugin-root> --format markdown`. 4. Read `Fix First` before drilling into manifest findings, nested skill findings, and code or coverage details. 5. If the plugin contains multiple skills, summarize the strongest and weakest ones explicitly. 6. If the user wants measured usage, switch to "Help me benchmark this plugin." and use the starter benchmark flow. 7. If the user wants trend data, compare two JSON outputs with `plugin-eval compare`. ## Chat Requests To Recognize - `Evaluate this plugin.` - `Audit this plugin.` - `Why did this score that way?` - `What should I fix first?` - `Help me benchmark this plugin.` - `What should I run next?` ## Commands ```bash plugin-eval start <plugin-root> --request "Evaluate this plugin." --format markdown plugin-eval analyze <plugin-root> --format markdown plugin-eval start <plugin-root> --request "What should I run next?" --format markdown plugin-eval compare before.json after.json plugin-eval report result.json --format html --output ./plugin-eval-report.html plugin-eval init-benchmark <plugin-root> plugin-eval benchmark <plugin-root> --dry-run ``` ## Reference - `../../references/chat-first-workflows.md`
© OpenAI Codex · MIT · openai/plugins