evaluate-skill — скилл для Codex: анализ и установка
Проверяет локальный скилл, объясняет причины оценки и предлагает, что исправить первым. Нужен перед бенчмарком или измерением токенов.
npx skills add openai/plugins --skill evaluate-skill -a codexЧто делает evaluate-skill
Скилл разбирает локальную папку скилла или файл SKILL.md. Он запускает plugin-eval start для маршрутизации запроса, затем plugin-eval analyze и помогает прочитать разделы At a Glance, Why It Matters, Fix First и Recommended Next Step. Без локального пути к скиллу или SKILL.md этот сценарий не запустится.
Проверка охватывает frontmatter, качество name и description, progressive disclosure, ссылки на соседние файлы, размер SKILL.md и описания. Отдельно рассматриваются проблемы структуры, бюджета и кода. Для запроса на анализ скилл создаёт заготовку бенчмарка через plugin-eval init-benchmark, а после наблюдений помогает составить план измерений.
Какие задачи решает
- проверить локальный скилл перед бенчмарком
- найти ошибки во frontmatter и ссылках
- понять причины оценки скилла
- выбрать первое исправление
- подготовить сценарии для бенчмарка
Примеры запросов агенту
- Проанализируй локальный скилл в
~/.codex/skills/game-dev. - Проведи аудит файла
SKILL.mdи объясни, что исправить первым. - Покажи вопросы для настройки стартовых сценариев бенчмарка этого скилла.
Как установить evaluate-skill
1Через Skills CLI (Vercel)
npx skills add openai/plugins --skill evaluate-skill -a codex2Вручную: положить файлы
.agents/skills/evaluate-skill/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add openai/plugins --skill evaluate-skill -a claude-code2Вручную: положить файлы
~/.claude/skills/evaluate-skill/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/evaluate-skill/
Вручную: положить файлы
.cursor/skills/evaluate-skill/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install openai/plugins evaluate-skill2Вручную: положить файлы
.github/skills/evaluate-skill/SKILL.mdКомандой платформы
gemini skills install https://github.com/openai/plugins --path plugins/plugin-eval/skills/evaluate-skillВручную: положить файлы
.devin/skills/evaluate-skill/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Скиллы Codex: как установить, где лежат и как вызвать
Вопросы о evaluate-skill
Как установить evaluate-skill в Codex?
Выполните npx skills add openai/plugins --skill evaluate-skill, затем npx skills add openai/plugins --skill evaluate-skill -a codex. Файл скилла появится по пути .agents/skills/evaluate-skill/SKILL.md.
Что делает evaluate-skill?
Он анализирует локальный скилл, группирует находки по структуре, бюджету и коду, а затем подсказывает следующий шаг. Для запроса на анализ он также запускает подготовку бенчмарка.
Какие части скилла он проверяет?
Проверяются frontmatter, name, description, progressive disclosure, относительные ссылки, размер SKILL.md и описаний, а также вспомогательные файлы TypeScript и Python.
Исходный текст
SKILL.md · MIT
--- name: evaluate-skill description: Evaluate a local Codex skill in engineer-friendly terms. Use when the user says "evaluate this skill", "give me an analysis of the game dev skill", "audit this skill", "why did this score that way", "what should I fix first", or asks for a skill-specific report before benchmarking it. --- # Evaluate Skill Use this skill when the target is a local skill directory or `SKILL.md` file. ## Workflow 1. Treat "Evaluate this skill." as the default entrypoint. 2. If the user names a skill instead of giving a path, resolve it locally first, preferring `~/.codex/skills/<skill-name>` and then repo-local `skills/<skill-name>`. 3. If the user says the request in natural language first, use `plugin-eval start <skill-path> --request "<user request>" --format markdown` to show the routed path clearly. 4. Run `plugin-eval analyze <skill-path> --format markdown`. 5. Review `At a Glance`, `Why It Matters`, `Fix First`, and `Recommended Next Step` before drilling into details. 6. Explain which findings are structural, which are budget-related, and which are code-related. 7. If the user asks for an "analysis" of the skill, do not stop at the report. Also run `plugin-eval init-benchmark <skill-path>` and show the setup questions for refining the starter scenarios in `.plugin-eval/benchmark.json`. 8. If the user wants real usage numbers, switch to "Measure the real token usage of this skill." and run the benchmark flow. 9. After observed usage is available, use `plugin-eval measurement-plan <skill-path> --observed-usage <usage.jsonl> --format markdown` to recommend what to instrument or improve next. 10. If the user wants a rewrite plan, route to `../improve-skill/SKILL.md`. ## Skill-Specific Priorities - frontmatter validity - `name` and `description` quality - progressive disclosure and reference usage - broken relative links - oversized `SKILL.md` or descriptions - helper script quality for TypeScript and Python files ## Chat Requests To Recognize - `Evaluate this skill.` - `Give me an analysis of the game dev skill.` - `Audit this skill.` - `Why did this skill score that way?` - `What should I fix first?` - `Measure the real token usage of this skill.` ## Commands ```bash plugin-eval start <skill-path> --request "Evaluate this skill." --format markdown plugin-eval analyze <skill-path> --format markdown plugin-eval explain-budget <skill-path> --format markdown plugin-eval measurement-plan <skill-path> --format markdown plugin-eval init-benchmark <skill-path> plugin-eval benchmark <skill-path> --dry-run ``` ## Reference - `../../references/chat-first-workflows.md`
© OpenAI Codex · MIT · openai/plugins
