leaderboard · shpigford — скилл для Claude Code: что делает и как установить
Скилл leaderboard публикует лидерборд nurb: проверяет прогоны, пришедшие после прошлой регенерации, обновляет вердикты и открывает PR со свежими отчётом и страницей.
MIT 124 установок ★ 653 обновлён 2026-11-02
npx skills add Shpigford/nurb --skill leaderboard -a claude-codeЧто делает leaderboard
Между мержем сабмишена и публикацией стоит этот скилл. Сабмишены в Shpigford/nurb-benchmarks — чистые добавления, а на публичную страницу ничего не попадает, пока не запустишь его. Сначала он находит каталоги прогонов, добавленные после прошлой регенерации site/benchmarks.html, через git log по submissions/.
Проверки конкретные. Каждая строка results.jsonl должна нести harness, model, effort, seed, benchmark_revision и timeout_s. На каждую строку нужны transcript.txt.gz и исходник детали, а после распаковки — ни /Users/, ни /home/, ни имён пользователей. Детали хэшируются против tests/solutions/: совпадение с эталонным решением дисквалифицирует прогон. Хотя бы одну строку скилл пересобирает и прогоняет через грейдер — счёт обязан воспроизвестись точно, оценка детерминированная. Плюс чтение одного транскрипта на нового контрибьютора.
Дальше вердикты в VERDICTS из src/nurb_evals/site.py, регенерация REPORT.md и site/benchmarks.html и два PR вместо прямого пуша в main. Клон Shpigford/nurb-benchmarks вне проекта обязателен: без него проверки и отчёт делать негде. Если venv устарел, перед запуском нужен uv sync --locked.
Какие задачи решает
- проверить каждый новый прогон бенчмарка до публикации
- переоценить подозрительную строку и сверить счёт с закоммиченным
- дописать вердикты для новых комбинаций модели и effort
- перегенерировать
REPORT.mdи страницуsite/benchmarks.html - открыть два PR со списком принятых и отклонённых прогонов
Примеры запросов агенту
- Обнови лидерборд после смерженных сабмишенов.
- Проверь прогоны с прошлой регенерации и опубликуй бенчмарки.
- Перегенерируй страницу бенчмарков и открой PR.
Как установить leaderboard
1Через Skills CLI (Vercel)
npx skills add Shpigford/nurb --skill leaderboard -a claude-code2Вручную: положить файлы
~/.claude/skills/leaderboard/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/leaderboard/
1Через Skills CLI (Vercel)
npx skills add Shpigford/nurb --skill leaderboard -a codex2Вручную: положить файлы
.agents/skills/leaderboard/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add Shpigford/nurb --skill leaderboard -a cursor2Вручную: положить файлы
.cursor/skills/leaderboard/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install Shpigford/nurb .claude/skills/leaderboard2Вручную: положить файлы
.github/skills/leaderboard/SKILL.md1Через Skills CLI (Vercel)
npx skills add Shpigford/nurb --skill leaderboard -a gemini-cli2Командой платформы
gemini skills install https://github.com/Shpigford/nurb --path .claude/skills/leaderboardВручную: положить файлы
.devin/skills/leaderboard/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add Shpigford/nurb --skill leaderboard -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о leaderboard
Как установить leaderboard в Claude Code?
Выполни npx skills add Shpigford/nurb --skill leaderboard -a claude-code. Файл скилла появится по пути ~/.claude/skills/leaderboard/SKILL.md.
Что делает leaderboard?
Находит прогоны бенчмарка, смерженные после последней публикации, проверяет их, обновляет редакционные вердикты и перегенерирует REPORT.md и site/benchmarks.html в двух PR.
Что нужно, чтобы скилл сработал?
Клон Shpigford/nurb-benchmarks в стороне от проекта и uv. Когда venv устарел, сначала uv sync --locked.
Исходный текст
SKILL.md · MIT
---
name: leaderboard
description: Publish the nurb model leaderboard from merged benchmark submissions. Sanity-checks every run landed since the last regeneration, writes or refreshes the editorial verdicts, regenerates the benchmarks repo's REPORT.md and this repo's site/benchmarks.html, and opens the publish PRs. Use when the user says "update the leaderboard", "publish the benchmarks", "regenerate the benchmark page", or after merging submission PRs.
---
# nurb leaderboard
Two generated surfaces, one editorial layer, two repos. The benchmark (tasks, scorer, submissions, `REPORT.md`) lives in [Shpigford/nurb-benchmarks](https://github.com/Shpigford/nurb-benchmarks); the public page (`site/benchmarks.html`, behind nurb.app/benchmarks) lives here. Both surfaces regenerate mechanically from that repo's `submissions/`; the verdict sentences and subscription labels live in its `src/nurb_evals/site.py` and are written by a person. Submission PRs are pure additions and merge freely; nothing reaches the public page until this skill runs. That gap is deliberate: it is where the sanity check and the verdicts happen, so publishing is an editorial act, not a side effect of merging.
## Step 0: Get the benchmarks checkout
Clone or update `Shpigford/nurb-benchmarks` somewhere outside this repo (for example `../nurb-benchmarks`, or a temp directory), on its main. Everything below that touches submissions, verdicts, or `REPORT.md` happens in that checkout; only the final `site/benchmarks.html` lands here.
## Step 1: Find what is new
The runs added since the page was last regenerated. In this repo, `git log -1 --format=%ci -- site/benchmarks.html` dates the last publish; in the benchmarks checkout, list the submission directories whose merge commits landed after it (`git log --since=<date> --diff-filter=A --name-only -- submissions/ | grep results.jsonl`).
Each directory under `submissions/` is one run: `<harness>-<model>-<effort>-<hex>/` holding `results.jsonl` plus per-trial gzipped transcripts and part sources. If nothing is new, say so and stop.
## Step 2: Sanity-check every new run
Work from the benchmarks checkout (its own uv project; `uv sync --locked` first if the venv is stale). For each new run directory:
- **Rows parse and carry full identity**: every line of `results.jsonl` has harness, harness_version, model, effort, seed, nurb_version, benchmark_version, a 12-char benchmark_revision, and timeout_s. A benchmark_revision that matches no revision the benchmark ever shipped is disqualifying (revisions from before the August 2026 repo split shipped from Shpigford/nurb's history).
- **Artifacts are complete and sanitized**: a `transcript.txt.gz` and the part source for every row; no `/Users/`, `/home/`, or usernames anywhere once decompressed (the suite's sanitization test enforces this too).
- **The parts are authored, not planted**: hash the submitted part files against `tests/solutions/` and against parts from other submissions. An exact match with a reference solution is disqualifying; matches across unrelated submissions are worth reading.
- **Spot-check by re-grading**: for at least one row per new run (and every row that looks too good), rebuild the trial project (`task.materialize`, drop the part in, restore the submitted `measurements.toml` for leg_cup) and run the grader. The committed score must reproduce exactly; grading is deterministic.
- **Read one transcript** per new contributor (`gzcat <trial>/transcript.txt.gz`): the headless preamble held (no `nurb dev`), the model actually iterated, and the session matches the row's timings.
A run that fails a check is removed with a PR comment saying which check and why, not silently. Suspicion is not proof: when a re-grade mismatches, check the benchmark_revision first; a row graded under an older shipped revision reproduces under that revision's scorer, not today's.
## Step 3: Verdicts
Every (harness, model, effort) combo on the board should have an entry in `VERDICTS` in the benchmarks repo's `src/nurb_evals/site.py`: which subscription it runs on, and one or two sentences a person with a printer can act on. Ground every claim in the rows and transcripts (findings, timings, the honesty tasks); never speculate. A new combo without a verdict renders numbers-only, which is acceptable for a day, not a policy. Capped or censored data is named as such ("hit the session limit"), never averaged into a claim.
## Step 4: Regenerate, look, publish
From the benchmarks checkout:
```bash
uv run python -m nurb_evals.report --write
uv run python -m nurb_evals.site --out <this-repo>/site/benchmarks.html
```
Open `site/benchmarks.html` in a browser and look at it before publishing: label collisions on the chart, a card wrapping badly, an empty state showing when rows exist. Screenshot, not DOM-query. Then two PRs, never straight to main: in nurb-benchmarks, the regenerated `REPORT.md` plus any verdict edits and removed runs; here, the regenerated `site/benchmarks.html`. Each PR body lists which runs were published and which were rejected with reasons. `uv run pytest -q tests/test_report.py tests/test_pricing.py tests/test_contribute.py` in the benchmarks checkout must be green; the full grading suite only guards scorer code, which this skill never touches.
The page deploys with `site/` however the site deploys; this skill's job ends at the merged PRs.
© Shpigford · MIT · Shpigford/nurb
Похожие скиллы
Все скиллы по теме «ИИ и ML» →Сначала — leaderboard от других авторов.