К основному содержанию
скилл CX Codex

hillclimb-skill — скилл для Claude Code: улучшение и установка

Скилл hillclimb-skill для Claude Code, который меняет SKILL.md по одному шагу и проверяет результат на отложенных задачах. Запускается, когда нужно улучшить оценку скилла или снизить расход токенов без потери оценки.

MIT ★ 237 обновлён 2026-11-16

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add edonadei/caliper --skill hillclimb-skill -a claude-code
Открыть на GitHub

Что делает hillclimb-skill

Скилл улучшает SKILL.md по результатам существующей оценки: за раунд вносит одно изменение, запускает тесты и оставляет правку, только если результат на обучающих и отложенных задачах проходит заданные критерии. Для экономии токенов сравнивает расход на попытку с исходным вариантом.

Работа начинается с выбора цели, поверхности изменения и бюджета раундов. Затем скилл дважды запускает базовую версию, делит задачи на обучающую и отложенную выборки и учитывает шум оценки. После каждого изменения он сравнивает результаты и либо сохраняет правку, либо откатывает её; в конце восстанавливает лучший вариант и оставляет изменения незакоммиченными.

Нужны caliper и python3; если caliper не установлен, в инструкции предлагается pipx install caliper-eval. Без файла оценки *.eval.yaml рядом с SKILL.md скилл останавливается. Он также прекращает работу, если задач меньше 8 или скилл подключён из Git, поскольку редактировать можно только путь к файлу.

Какие задачи решает

  • улучшить оценку скилла на отложенных задачах
  • сократить расход токенов без снижения оценки
  • откатывать правки, которые не проходят проверку

Примеры запросов агенту

  • Улучши этот скилл по его оценочным задачам и оставляй только проверенные изменения.
  • Снизь расход токенов у этого скилла, сохранив прежнюю оценку.
  • Проведи раунды улучшения для skills/example/SKILL.md.

Как установить hillclimb-skill

1Через Skills CLI (Vercel)

npx skills add edonadei/caliper --skill hillclimb-skill -a claude-code

2Вручную: положить файлы

~/.claude/skills/hillclimb-skill/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/hillclimb-skill/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о hillclimb-skill

Как установить hillclimb-skill в Claude Code?

Выполни npx skills add edonadei/caliper --skill hillclimb-skill -a claude-code. Файл скилла появится по пути ~/.claude/skills/hillclimb-skill/SKILL.md.

Что делает hillclimb-skill?

Он меняет SKILL.md по одному шагу и сверяет результат оценки на обучающих и отложенных задачах. Неудачные правки откатывает, а в конце возвращает лучший вариант.

Что нужно для работы hillclimb-skill?

Нужны caliper и python3, а рядом с SKILL.md должен находиться файл оценки *.eval.yaml. Для установки caliper, если его нет, инструкция предлагает pipx install caliper-eval.

Исходный текст

SKILL.md · MIT
---
name: hillclimb-skill
description: Improve a skill against its existing eval without supervision. Edits the SKILL.md one change a round and keeps a change only when held-out tasks improve too. Use when the user wants the agent itself to hillclimb a skill's eval score, or cut its token cost at the same score.
allowed-tools: Bash, Read, Write, Edit
---

# Hillclimb Skill

Improve a skill against its eval one **round** at a time: one change, one run, one verdict. Requires `caliper` (`pipx install caliper-eval` if missing) and `python3`. Commands, files, the cause list and the report: [REFERENCE.md](REFERENCE.md).

Three terms carry the method:

- **Train / held-out**: the tasks are split once. You read train failures; held-out tasks reach you as scores only. A change that lifts train alone has learned the tasks, not the job.
- **Noise floor**: how far a split's score moves between two runs of the same skill. A gain inside it is not a gain.
- **Keep / revert**: every round ends in one of the two, decided by the verdict table.

The spec and every results JSON are the answer key. Reach them only through `climb.py` and `caliper compare --format json`, and send each `caliper run`'s output to a log file.

## Entry point

`/hillclimb-skill [path]`: optional path to a `SKILL.md`; without one, use the `SKILL.md` in the cwd. Its eval is the `*.eval.yaml` beside it.

- **No eval**: stop and suggest `grill-skill`, which builds one.
- **Fewer than 8 tasks**: stop. There are too few to hold any out; suggest adding tasks with `grill-skill`.
- **A git-sourced skill**: stop. Only a path source can be edited.

## Phase 1 — Frame the climb

Read the `SKILL.md`. Ask one question at a time and wait for each answer:

1. **Objective**: a higher score, or a lower token cost at the same score?
2. **Surface**: the `description` (moves the activation score) or the body (moves the success rate)? One surface per climb, so a score that moves has one cause. Default: the `description` while execution tasks fail activation, the body after.
3. **Smallest gain worth keeping**, in percentage points. Default 10.
4. **Budget**: how many rounds. Default 6. State the cost first: each round is tasks × k agent sessions, and the baseline is two rounds' worth.

Then fix the engine for the whole climb: the same `--model`, `--judge-model` and user-customizations mode on every run. Prefer a judge that is a different model from the one tested.

**Wait for a go-ahead on the framing and the cost before the first run.**

## Phase 2 — Split and baseline

1. Validate the spec, then run the baseline twice at `k=5`.
2. Split from the first baseline with `climb.py split`. The split is fixed for the climb.
3. Score one baseline against the other. Each split's **noise floor** is the larger of that gap and two attempts' worth of the split.

Check the eval before climbing it:

| Signal | What it means | Do |
|---|---|---|
| Exit `2`, or unusable attempts | The environment, not the skill | Fix and re-run the baseline |
| Baseline at 95% or more on the objective's score | No headroom | Offer the cost objective, or stop |
| Noise floor above the smallest gain worth keeping | The eval can't see that gain | Raise `k` or add tasks; say which, and wait |
| A train task fails every attempt in both baselines | Likely the task or its grading | Note it for the reflection round |

A score objective also needs the **control** (`--ablate <skill-name>`, run once at the same `k`): reuse the one `grill-skill` kept, or run it now.

## Phase 3 — Rounds

Each round:

1. **Read** the train failures of the current best run (`climb.py failures`).
2. **Name one cause**: the most common one, shared by the most failing train tasks. A cause only one task shows comes last, once no shared cause is left. Fix the cause at its root with the smallest change that does: rewrite the section that causes it, or add the one rule that is missing. Write the rule in the skill's own terms, general enough for a request you have not seen. Wording from a task's prompt, `expect:`, assert or transcript stays out of the skill.
3. **Snapshot** the files you will edit, make the one change, run the whole spec, and score it against the current best run.
4. **Verdict**, then one line in the log: the cause, the change, both scores, kept or reverted.

Train must gain more than its noise floor. On held-out, *up* is any rise, *flat* is no change or a fall inside its noise floor, *down* is a fall beyond it.

| Train | Held-out | Verdict |
|---|---|---|
| Gains | Up | **Keep**: this run is the new best |
| Gains | Flat, already at 100% | **Keep** only if the change is a general rule: held-out has nothing left to show |
| Gains | Flat or down | **Revert**: the change learned the train tasks |
| No gain, or down | Any | **Revert** |

With a **cost objective**, keep a change when tokens per attempt fall by 5% or more and neither split falls beyond its noise floor from the *baseline*: score each round against it as well as the current best, so small losses can't add up. Look for cost in sections no train task exercises, repeated meaning, and reference that belongs in a sibling file.

**Two reverts in a row** make the next round a **reflection round**: no edit. Sort every remaining train failure by cause ([REFERENCE.md → Causes](REFERENCE.md#causes)). Only failures caused by the skill go into further rounds. If no single cause could gain more than the noise floor, stop.

A flawed task or grader is the user's to fix: show it with the fix you would make. A spec edit ends the climb, since the baseline, the control and the split are stale.

## Phase 4 — Finish

Stop when the budget is spent, the objective is met, no skill-caused train failure is left, or a reflection round says stop.

1. Restore the version with the best held-out score; on a tie, the one with fewer tokens per attempt.
2. Score it against the baseline, and `caliper compare` it against the control.
3. Report ([REFERENCE.md → Report](REFERENCE.md#report)): held-out is the result; train is shown beside it, labeled optimistic.
4. A held-out gain inside its noise floor is not a result. Say so, recommend against keeping the edits, and offer to restore the original.

Leave the edits uncommitted for the user to review.

© edonadei · MIT · edonadei/caliper

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
google-agents-cli-eval официальный Google Скилл google-agents-cli-eval оценивает качество ИИ-агентов через agents-cli, находит ошибки и сравнивает прогоны. Включается при отладке датасетов и проверке метрик в проектах на базе Gemini. CX Codex +1 586 000установок bmad-eval bmad-code-org Скилл bmad-eval для Claude Code, Codex, Cursor и Copilot, который прогоняет тесты другого скилла и отчитывается о результатах. Запускается, когда нужно проверить триггеры описания, сравнить версии или оценить качество по рубрике. CX Codex +1 9 100установок eval-harness affaan-m Скилл eval-harness для Claude Code, Codex, Cursor и других агентных платформ, реализующий eval-driven development: критерии успеха определяются до написания кода, результаты измеряются метриками pass@k и pass^k. CX Codex +1 6 500установок agent-observability-session-classify datadog-labs Скилл agent-observability-session-classify оценивает удовлетворённость пользователя в трейсах и сессиях Datadog Agent Observability. Возвращает вердикт yes, partial или no с коротким пояснением. CX Codex +1 665установок llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок grade-iterate Alireza Rezvani Скилл grade-iterate для Claude Code: третий этап сборки Claude Managed Agent. Задаёт рубрику, читает вердикты грейдера и запускает итерации до прохождения проверки. CX Codex +1 1установок

Из того же набора3

Спонсоры проекта

Компании, которые помогают держать аналитику открытой