skill-optimizer — скилл для Claude Code: настройка скиллов и бенчмарки
Скилл для тех, кто пишет и правит скиллы: помогает понять, почему модель их не применяет, и не ухудшают ли они вывод.
npx skills add mcollina/skills --skill skill-optimizer -a claude-codeЧто делает skill-optimizer
skill-optimizer ведёт цикл оптимизации скиллов. Сначала замеряется поведение модели без скилла и с ним — по каждой модели, сценарию и критерию. Потом ищется тип провала: скилл не срабатывает нигде, слабое место у конкретной модели или регрессия с отрицательной дельтой. Дальше текст правится под заметность: явные триггеры, конкретные примеры, сжатые чек-листы и правила решений. После этого прогон повторяется, и обновление выпускается с зафиксированным порогом, историей прогонов и задачами на доработку.
Внутри пять файлов правил: rules/benchmark-loop.md про полный цикл и подсчёт очков, rules/activation-design.md про извлечение и срабатывание инструкций, rules/context-budget.md про сокращение токенов, rules/regression-triage.md про разбор регрессий и rules/release-gates.md про критерии go/no-go перед выпуском. Из практических советов: лучше несколько правил с сильным сигналом, чем много мягких рекомендаций; хрупкое и ценное поведение — в чек-листы верхнего уровня; хотя бы один цельный пример на частый сценарий; отдельная формулировка того, что нельзя опускать.
Скилл не запускает замеры сам — прогоны и сценарии вы готовите на своей стороне, он даёт процедуру и шаблоны. Если у вас нет способа сравнить вывод со скиллом и без, цикл превратится в правку текста наугад. Поэтому первым делом стоит наладить повторяемый прогон, а уже потом трогать формулировки.
Какие задачи решает
- понять, почему скилл не срабатывает у модели
- разделить общий провал и слабость конкретной модели
- поймать регрессию от включённого скилла
- сжать текст скилла, не потеряв поведение
- задать порог выпуска обновления скилла
Примеры запросов агенту
- прогони бенчмарк скилла и покажи дельту со скиллом и без
- почему этот критерий проваливается у всех моделей?
- сократи контекст скилла и проверь, что поведение не изменилось
Как установить skill-optimizer
1Через Skills CLI (Vercel)
npx skills add mcollina/skills --skill skill-optimizer -a claude-code2Вручную: положить файлы
~/.claude/skills/skill-optimizer/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/skill-optimizer/
1Через Skills CLI (Vercel)
npx skills add mcollina/skills --skill skill-optimizer -a codex2Вручную: положить файлы
.agents/skills/skill-optimizer/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add mcollina/skills --skill skill-optimizer -a cursor2Вручную: положить файлы
.cursor/skills/skill-optimizer/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install mcollina/skills skill-optimizer2Вручную: положить файлы
.github/skills/skill-optimizer/SKILL.md1Через Skills CLI (Vercel)
npx skills add mcollina/skills --skill skill-optimizer -a gemini-cli2Командой платформы
gemini skills install https://github.com/mcollina/skills --path skills/skill-optimizerВручную: положить файлы
.devin/skills/skill-optimizer/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add mcollina/skills --skill skill-optimizer -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Из того же набора11
Похожие
Рядом в теме «Настройка агента: память, контекст, субагенты»
Все скиллы по теме «Настройка агента: память, контекст, субагенты» →Вопросы о skill-optimizer
Как установить skill-optimizer в Claude?
Выполните npx skills add mcollina/skills --skill skill-optimizer -a claude-code. Файл скилла окажется по пути ~/.claude/skills/skill-optimizer/SKILL.md.
Что делает skill-optimizer?
Описывает цикл оптимизации скиллов: замер базовой линии и поведения со скиллом, поиск типа провала, правка текста под заметность, повторный прогон и выпуск с порогом. Внутри пять файлов правил с процедурами и шаблонами.
Нужны ли свои прогоны, чтобы скилл работал?
Да. Скилл даёт процедуру и шаблоны, а сценарии и замеры вы готовите сами. Без сравнения вывода со скиллом и без него правки текста будут наугад.
Исходный текст
SKILL.md · MIT
--- name: skill-optimizer description: "Optimizes AI skills for activation, clarity, and cross-model reliability. Use when creating or editing skill packs, diagnosing weak skill uptake, reducing regressions, tuning instruction salience, improving examples, shrinking context cost, or setting benchmark/release gates for skills. Trigger terms: skill optimization, activation gap, benchmark skill, with/without skill delta, regression, context budget, prompt salience." metadata: tags: skills, optimization, benchmarking, activation, regressions, prompt-engineering --- ## When to use Use this skill when you need to: - Improve whether a skill is actually applied by models - Diagnose why some criteria fail across all models - Prevent a skill from making outputs worse - Refactor skill text for stronger retrieval under context pressure - Build repeatable benchmark loops and release gates ## Optimization loop (default workflow) 1. **Measure baseline and skill-on behavior** (per model, per scenario, per criterion) 2. **Find failure pattern**: - universal failure (0% with skill) - model-specific weakness - regression (negative delta) 3. **Edit for salience**: - add explicit triggers - add concrete integrated examples - tighten checklists and decision rules 4. **Re-run evals** and compare deltas 5. **Ship with guardrails** (documented gate + run history + follow-up issues) ## How to use Read individual rule files for detailed procedures and templates: - [rules/benchmark-loop.md](rules/benchmark-loop.md) - End-to-end benchmark loop and scoring - [rules/activation-design.md](rules/activation-design.md) - Improve retrieval and instruction uptake - [rules/context-budget.md](rules/context-budget.md) - Reduce token cost without losing behavior - [rules/regression-triage.md](rules/regression-triage.md) - Diagnose and fix skill-on regressions - [rules/release-gates.md](rules/release-gates.md) - Go/no-go criteria before shipping skill updates ## Practical heuristics - Prefer **few high-signal rules** over many soft recommendations - Put fragile, high-value behaviors in **top-level checklists** - Include at least one **integrated example** per common scenario - Add explicit wording for what must **not** be omitted - Track gains/losses with **with-skill vs without-skill** comparisons
© mcollina · MIT · mcollina/skills
