К основному содержанию
скилл CX Codex GP ChatGPT официальный · OpenAI

evaluate-plugin — скилл для Codex: аудит плагинов и отчёт

Разбирает локальный плагин Codex по шагам и говорит, что чинить первым. Пригодится перед сравнением версий.

Установить в Codex · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add openai/plugins --skill evaluate-plugin -a codex
Открыть на GitHub

Что делает evaluate-plugin

Скилл работает с корнем плагина, где лежит .codex-plugin/plugin.json. Запрос вроде «оцени этот плагин» он принимает как точку входа и сначала прогоняет plugin-eval start <plugin-root> --request "<user request>" --format markdown, чтобы вы увидели, куда ушёл локальный путь.

Дальше идёт plugin-eval analyze <plugin-root> --format markdown. Читать отчёт стоит с блока Fix First, и только потом лезть в манифест, вложенные скиллы и покрытие кода. Если скиллов внутри несколько, скилл отдельно называет самый сильный и самый слабый.

Нужен замер использования — переключайтесь на бенчмарк: plugin-eval init-benchmark <plugin-root>, затем plugin-eval benchmark <plugin-root> --dry-run. Для динамики по версиям есть plugin-eval compare before.json after.json. Учтите: без установленного plugin-eval команды не отработают, а HTML-отчёт собирается отдельно через plugin-eval report result.json --format html --output ./plugin-eval-report.html.

Какие задачи решает

  • разобрать локальный плагин Codex и получить отчёт по пунктам
  • понять, почему плагин получил именно такую оценку
  • выбрать, что исправить в первую очередь
  • сравнить две версии плагина по JSON-выгрузкам
  • собрать HTML-отчёт для команды

Примеры запросов агенту

  • Оцени этот плагин.
  • Что мне чинить первым?
  • Помоги прогнать бенчмарк для этого плагина.

Как установить evaluate-plugin

1Через Skills CLI (Vercel)

npx skills add openai/plugins --skill evaluate-plugin -a codex

2Вручную: положить файлы

.agents/skills/evaluate-plugin/SKILL.md

Для всех проектов — ~/.agents/skills/

По шагам, с командами для каждой платформы: Скиллы Codex: как установить, где лежат и как вызвать

Вопросы о evaluate-plugin

Как установить evaluate-plugin в Claude?

Через skills CLI: npx skills add openai/plugins --skill evaluate-plugin, затем вариант с явной платформой npx skills add openai/plugins --skill evaluate-plugin -a codex. После установки файл скилла лежит в .agents/skills/evaluate-plugin/SKILL.md.

Что делает evaluate-plugin?

Прогоняет локальный плагин Claude через plugin-eval, показывает разбор манифеста, вложенных скиллов и покрытия кода, а в начале отчёта выдаёт блок Fix First с приоритетами.

Чем отличается анализ от бенчмарка?

plugin-eval analyze даёт статический отчёт по плагину, а бенчмарк измеряет использование: сначала plugin-eval init-benchmark <plugin-root>, потом plugin-eval benchmark <plugin-root> --dry-run.

Исходный текст

SKILL.md · MIT
---
name: evaluate-plugin
description: Evaluate a local Codex plugin in engineer-friendly language. Use when the user says "evaluate this plugin", "audit this plugin", "why did this score that way", "what should I fix first", "help me benchmark this plugin", or asks for a plugin-wide report before comparing versions.
---

# Evaluate Plugin

Use this skill when the target is a plugin root with `.codex-plugin/plugin.json`.

## Workflow

1. Treat "Evaluate this plugin." as the default entrypoint.
2. If the request comes in as natural chat language, use `plugin-eval start <plugin-root> --request "<user request>" --format markdown` first so the user sees the routed local path.
3. Run `plugin-eval analyze <plugin-root> --format markdown`.
4. Read `Fix First` before drilling into manifest findings, nested skill findings, and code or coverage details.
5. If the plugin contains multiple skills, summarize the strongest and weakest ones explicitly.
6. If the user wants measured usage, switch to "Help me benchmark this plugin." and use the starter benchmark flow.
7. If the user wants trend data, compare two JSON outputs with `plugin-eval compare`.

## Chat Requests To Recognize

- `Evaluate this plugin.`
- `Audit this plugin.`
- `Why did this score that way?`
- `What should I fix first?`
- `Help me benchmark this plugin.`
- `What should I run next?`

## Commands

```bash
plugin-eval start <plugin-root> --request "Evaluate this plugin." --format markdown
plugin-eval analyze <plugin-root> --format markdown
plugin-eval start <plugin-root> --request "What should I run next?" --format markdown
plugin-eval compare before.json after.json
plugin-eval report result.json --format html --output ./plugin-eval-report.html
plugin-eval init-benchmark <plugin-root>
plugin-eval benchmark <plugin-root> --dry-run
```

## Reference

- `../../references/chat-first-workflows.md`

© OpenAI Codex · MIT · openai/plugins

Похожие скиллы

Все скиллы по теме «Настройка агента: память, контекст, субагенты» →
evaluation-methodology Seth Hobson Справочник по методологии PluginEval. Помогает понять расчёт баллов качества плагинов, формулы метрик и причины штрафов за антипаттерны. CX Codex 7 200установок ac-reviewing-codebase souliane Скилл для сквозного ревью портфеля репозиториев: проверяет качество скиллов, здоровье кода и согласованность инфраструктуры. CX Codex +1 556установок evaluate ghaida Разбирает интерфейс по эвристикам, расставляет проблемы по серьёзности и говорит, что именно поменять. Пригодится перед запуском или когда непонятно, почему пользователи бросают задачу. CX Codex +1 2 700установок competitors-analysis daymade Клонирует репозитории конкурентов, разбирает их кодовую базу и собирает сводку с точными ссылками на файлы и коммиты. Пригодится, когда нужно сравнить функции продуктов по реальному коду. CX Codex +1 659установок self-improve Yeachan-Heo Запускает автономный цикл улучшения кода: исследует репозиторий, проверяет планы и сравнивает результаты бенчмарков. Нужен для итераций по заданной метрике. CX Codex +1 736установок ponytail-gain DietrichGebert Выводит бенчмарк экономии строк кода, токенов, денег и времени в Ponytail. Помогает оценить результаты тестов перед использованием набора скиллов. CX Codex +1 40 900установок

Из того же набора304

Весь набор →
shopify-storefront-graphql Пишет GraphQL-запросы и мутации к Storefront API Shopify, но сначала ищет их в документации и проверяет валидатором. CX Codex GP ChatGPT 1установок shopify-onboarding-dev Проводит разработчика от нуля до рабочего окружения Shopify: ставит CLI, подключает AI toolkit и спрашивает, что вы хотите собрать. CX Codex GP ChatGPT 1установок shopify-custom-data Скилл для Codex и ChatGPT, который ведёт агента по работе с Metafields и Metaobjects в приложениях Shopify. CX Codex GP ChatGPT 1установок metric-pack-designer Скилл помогает описать локальный набор метрик для plugin-eval: рубрики, проверки и метрики в совместимом с схемой виде. CX Codex GP ChatGPT 1установок expo-ui-jetpack-compose Скилл подсказывает агенту, как писать нативные Android-интерфейсы через @expo/ui/jetpack-compose в приложении Expo. CX Codex GP ChatGPT 1установок expo-dev-client Скилл для Codex, который проводит агента через сборку development-клиента Expo и его отправку в TestFlight или на устройство. CX Codex GP ChatGPT 1установок expo-api-routes Скилл объясняет агенту, как писать серверные API-роуты в Expo Router и выкладывать их на EAS Hosting. Пригодится, когда ключи и запросы к базе нельзя держать на клиенте. CX Codex GP ChatGPT 1установок setup-zoom-webhooks Скилл для Codex и ChatGPT, который ведёт агента по настройке вебхуков Zoom: подписки, проверка подписи, идемпотентные обработчики. CX Codex GP ChatGPT ★ 7 596звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой