metric-pack-designer — скилл для Codex: свои метрики для plugin-eval
Скилл помогает описать локальный набор метрик для plugin-eval: рубрики, проверки и метрики в совместимом с схемой виде.
npx skills add openai/plugins --skill metric-pack-designer -a codexЧто делает metric-pack-designer
Скилл включается, когда нужно расширить plugin-eval собственной рубрикой. Сначала он уточняет категории и целевые виды проверок, затем собирает минимальный полезный набор checks[] и metrics[]. На выходе — манифест метрик-пака и скрипт, который печатает JSON в stdout.
Проверить пак можно командой plugin-eval analyze <path> --metric-pack <manifest.json>. Внутри пака допустимы только checks[], metrics[] и необязательный artifacts[] — перезаписать основной скор или сводку не получится. Идентификаторы стоит держать стабильными между запусками, иначе сравнение результатов теряет смысл.
Автор скилла советует опираться на детерминированные локальные сигналы, а не на субъективную генерацию текста. Справочник по формату манифеста лежит в ../../references/metric-pack-manifest.md.
Какие задачи решает
- описать локальную рубрику оценки для plugin-eval
- собрать минимальный набор checks и metrics под свои критерии
- получить манифест метрик-пака и скрипт с JSON на stdout
- прогнать пак через plugin-eval analyze и сравнить результаты между запусками
Примеры запросов агенту
- помоги спроектировать метрик-пак для plugin-eval под наши критерии качества
- собери манифест и скрипт, который печатает checks и metrics в JSON
- проверь мой метрик-пак через plugin-eval analyze
Как установить metric-pack-designer
1Через Skills CLI (Vercel)
npx skills add openai/plugins --skill metric-pack-designer -a codex2Вручную: положить файлы
.agents/skills/metric-pack-designer/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add openai/plugins --skill metric-pack-designer -a claude-code2Вручную: положить файлы
~/.claude/skills/metric-pack-designer/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/metric-pack-designer/
Вручную: положить файлы
.cursor/skills/metric-pack-designer/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install openai/plugins metric-pack-designer2Вручную: положить файлы
.github/skills/metric-pack-designer/SKILL.mdКомандой платформы
gemini skills install https://github.com/openai/plugins --path plugins/plugin-eval/skills/metric-pack-designerВручную: положить файлы
.devin/skills/metric-pack-designer/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Скиллы Codex: как установить, где лежат и как вызвать
Из того же набора304
Весь набор →Похожие
Рядом в теме «Настройка агента: память, контекст, субагенты»
Все скиллы по теме «Настройка агента: память, контекст, субагенты» →Вопросы о metric-pack-designer
Как установить metric-pack-designer в Claude?
Выполните npx skills add openai/plugins --skill metric-pack-designer, затем npx skills add openai/plugins --skill metric-pack-designer -a codex. Файл скилла окажется по пути .agents/skills/metric-pack-designer/SKILL.md.
Что делает metric-pack-designer?
Помогает добавить в plugin-eval свою рубрику: уточняет категории, собирает checks[] и metrics[], создаёт манифест метрик-пака и скрипт, печатающий JSON.
Можно ли этим паком переопределить основной скор plugin-eval?
Нет. Пак выводит только checks[], metrics[] и необязательный artifacts[], а основной скор и сводку перезаписать нельзя.
Исходный текст
SKILL.md · MIT
--- name: metric-pack-designer description: Design custom metric packs for plugin-eval so teams can add local evaluation rubrics that emit schema-compatible checks and metrics. Use when the user wants their own evaluation criteria or visualizations. --- # Metric Pack Designer Use this skill when the user wants to extend `plugin-eval` with a local rubric. ## Workflow 1. Clarify the custom rubric categories and target kinds. 2. Define the smallest useful `checks[]` and `metrics[]` payload. 3. Create a metric-pack manifest plus a script that prints JSON to stdout. 4. Run the pack through `plugin-eval analyze <path> --metric-pack <manifest.json>`. ## Design Rules - Keep IDs stable across runs so comparisons stay meaningful. - Emit only `checks[]`, `metrics[]`, and optional `artifacts[]`. - Do not try to overwrite the core score or summary. - Prefer deterministic local signals over subjective text generation. ## Reference - `../../references/metric-pack-manifest.md`
© OpenAI Codex · MIT · openai/plugins
