К основному содержанию
скилл CX Codex

skill-model-gap — скилл для Claude Code: что делает и как установить

Скилл skill-model-gap для Claude Code находит причины просадки тестов навыка на одной нейросети относительно другой и правит текст без вреда для остальных.

MIT ★ 262 обновлён 2026-11-06

Установить в Claude Code · Через маркетплейс плагинов Все способы и платформы ↓
/plugin marketplace add nicobailon/skill-diet
/plugin install skill-diet@skill-diet
Открыть на GitHub

Что делает skill-model-gap

Скилл сравнивает результаты выполнения задач между эталонной моделью с лучшим процентом прохождения и целевой моделью с отставанием. Диагностика запускается через тесты skill-diet с помощью скрипта node ../skill-diet/scripts/eval.mjs. Модели сравниваются на одном хосте и с единым адаптером, поэтому расхождения связаны только с самими языковыми моделями.

Проверка начинается с анализа чтения файла SKILL.md: если целевая модель открывает инструкцию редко, скилл сначала переписывает триггеры в описании. Ошибки в логах классифицируются рецензентом, а каждое исправление оформляется отдельной версией L<n> и проверяется шестью прогонами. Для работы обязательны тестовый набор задач, скрипты skill-diet и оплаченный баланс токенов, так как перед финальным принятием изменений проводятся девять контрольных запусков на отложенных тестах.

Какие задачи решает

  • выявить причины падения метрик скилла на целевой модели
  • проверить частоту чтения SKILL.md разными нейросетями
  • протестировать правки текста инструкции без ухудшения работы остальных моделей
  • оценить расход платного бюджета токенов на прогоны бенчмарков

Примеры запросов агенту

  • Сравни работу скилла на Claude 3.5 Sonnet и GPT-4o через skill-model-gap
  • Найди причину ошибок скилла на модели claude-3-haiku по сравнению с reference

Как установить skill-model-gap

1Через маркетплейс плагинов

/plugin marketplace add nicobailon/skill-diet
/plugin install skill-diet@skill-diet

Команда ставит плагин skill-diet целиком, со всеми его скиллами

2Через Skills CLI (Vercel)

npx skills add nicobailon/skill-diet --skill skill-model-gap -a claude-code

3Вручную: положить файлы

~/.claude/skills/skill-model-gap/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/skill-model-gap/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о skill-model-gap

Как установить skill-model-gap в Claude Code?

Выполните обе команды маркетплейса по порядку: /plugin marketplace add nicobailon/skill-diet, а затем /plugin install skill-diet@skill-diet.

Что делает skill-model-gap?

Сравнивает прохождение тестовых сценариев скилла на разных моделях, находит расхождения в логах и валидирует правки на контрольной выборке задач.

Что нужно для работы skill-model-gap?

Нужны скрипты и тестовые адаптеры из репозитория skill-diet, среда Node.js и оплаченный бюджет на API-запросы ко всем сравниваемым моделям.

Исходный текст

SKILL.md · MIT
---
name: skill-model-gap
description: Find why a skill works worse on one model than another, and fix it without hurting the others. Give it the skill and the models to compare.
disable-model-invocation: true
metadata:
  version: 0.2.0
  creator: Nico Bailon
---

# Skill model gap

A skill tested on one model (the **reference**) often passes fewer tasks on another (the **target**). Find where and why, fix it with text every model reads, and prove the target gains while no model drops.

This runs skill-diet's eval: tasks and scoring per [eval.md](../skill-diet/references/eval.md), the adapter per [adapter.md](../skill-diet/references/adapter.md), commands as `node ../skill-diet/scripts/eval.mjs …`. Edits follow skill-diet's [Editing a skill](../skill-diet/SKILL.md#editing-a-skill).

## Set up

- **One adapter, one host** for every model, so only the model differs. Pass `--model` to every `run` and `score`.
- **Tasks** per eval.md, each labeled with the case it covers. Split them blind and at random: about a third, at least one per case, go to a **held-back** folder whose `adapter` and `sk/` link to the tuning folder's. Held-back tasks get no runs until the end.
- **Versions:** `base` (the skill as it is), `none`, and one folder per candidate fix.
- **Models:** the reference has the best `base` pass rate (on a tie, the one that reads the skill most); every other model with a gap is a target. Add at least one more model as a harm check.
- **Paid quota:** before each step, give the user sessions × cost per run and stay within the budget they set. Two tasks first measure the cost.

## 1. Measure the gap

`base` and `none` on every model, tuning tasks, 3 runs. `score <dir> --models <all> --versions none,base` puts the models side by side; `--model <m>` instead gives one model's warnings. A gap is a task the target fails more often than the reference with a cause in its logs; 2/3 against 3/3 alone is noise. If the target does better with `none` (MISS or WORSE here), look for lines to cut first. No gap on any target → stop and report.

## 2. Find the cause

**Loading first.** Compare how many runs read `SKILL.md` on each model (the `--models` table's last row; `score`'s under-half warning is this finding). If the target opens the skill much less often, fix loading before any rule: a description that says when to read the skill and what it adds to the tool's own description. If reads rise but passes don't, move the rules the target breaks into the description.

Otherwise a fresh reviewer reads each failing target run beside a passing reference run of the same task, and labels one cause with quoted evidence:

- skipped, misread or found no rule for the case in the skill it loaded → reword or widen the rule, or move it up a level;
- stopped early or asked the user → one line on what done means, unless the task really needs a question;
- tool, fixture or adapter (wrong parameter, tool error, missing file, dropped output) → fix it there, not in the skill;
- can't do it (fails even with the reference's steps written into the prompt) → drop it from the target's goal and report it;
- valid but scored wrong → eval.md's scorer check; fix the task and rerun it in every version on every model.

Each cause needs a held-back task that hits it (the same command or call). Write any that are missing now, before any fix, so step 4 can show a gain.

## 3. Fix one change at a time

Try a shared fix first: plainer, positive, more direct wording helps every model. Each candidate is a version `L<n>`: `base` plus one change.

1. **Helps the target:** `base` vs `L<n>` on the target, the gap tasks it's for, 6 runs. Keep it if the gain `score <dir> --model <target> --versions base,L<n> --tasks <those tasks>` prints is larger than its 2 SE, or a task flips from failing every run to passing every run.
2. **Hurts no one:** all kept changes as `tuned`, vs `base` on every other model, all tuning tasks, 3 runs. On WORSE or MISS, leave one change out at a time to find it, then drop or reword it. Compare reads too: a model that stops opening the skill loses the rules left in its body, so report the drop.
3. **Still helps together:** `tuned` vs `base` on the target, all tuning tasks.

Every model reads every line; a host can't reliably hide a line by model.

## 4. Held-back, once

`base` vs `tuned` on every model, held-back folder, 9 runs. Ship when the target gains more than 2 SE, no model is WORSE or MISSes, and `SKILL.md` stays within skill-diet's budget. Report tokens/run per model as a cost: a skill that models now open costs its size on every task. If `base` already passes the target's held-back tasks, they can't show a gain: add tasks for the gap's causes and run once more. If `base` fails them and `tuned` doesn't gain, the fixes are overfit; write new held-back tasks before tuning again.

## Afterward

On ship, record every model as eval.md's [Tested with](../skill-diet/references/eval.md#tested-with) says. The commit message names which change came from which target, with the measurements. When a target in `tested-with` is replaced, rerun `base` with and without its changes on the new model, and delete what no longer helps.

© Nico Bailon · MIT · nicobailon/skill-diet

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
prompt-optimizer haabe Скилл prompt-optimizer для Claude Code, который A/B-тестирует изменения в CLAUDE.md через eval-бенчмарки. Запускается, когда инструкции агента перестают давать стабильный результат и нужно измерить, какая формулировка лучше. CX Codex +1 ★ 54звёзд репо senior-prompt-engineer Alireza Rezvani Скилл senior-prompt-engineer для систематической оптимизации промптов через eval-наборы, измерения качества RAG и валидации агентов. Работает с любыми моделями, использует только встроенные библиотеки Python. CX Codex +1 970установок prompt-engineer josstei Субагент prompt-engineer для Claude Code проектирует и проверяет промпты. Запускается для сборки eval-набора, настройки выдачи JSON по схеме или поиска причины, по которой RAG цитирует не те чанки. CX Codex ★ 489звёзд репо ambitious-model-use sammcj Скилл ambitious-model-use переосмысляет задачу перед тем, как её решать. Вместо того чтобы просто улучшить промпт, анализирует реальный результат, который вам нужен, и предлагает глубже копать в данные или привлечь смежные области. CX Codex +1 ★ 173звёзд репо google-agents-cli-eval официальный Google Скилл google-agents-cli-eval оценивает качество ИИ-агентов через agents-cli, находит ошибки и сравнивает прогоны. Включается при отладке датасетов и проверке метрик в проектах на базе Gemini. CX Codex +1 586 000установок eval-harness affaan-m Скилл eval-harness для Claude Code, Codex, Cursor и других агентных платформ, реализующий eval-driven development: критерии успеха определяются до написания кода, результаты измеряются метриками pass@k и pass^k. CX Codex +1 6 500установок

Из того же набора3

Спонсоры проекта

Компании, которые помогают держать аналитику открытой