скилл Claude Code CX Codex Cursor GitHub Copilot
Открыть на GitHub
cost-benchmark — скилл для Claude Code: что делает и как установить
Запускает бенчмарки на локальном корпусе задач и сравнивает затраты с базовыми моделями Gemini и Claude. Пригодится для проверки точности и расходов перед релизом.
Установить в Claude Code · Через Skills CLI (Vercel)
Все способы и платформы ↓
npx skills add ruvnet/ruflo --skill cost-benchmark -a claude-codeЧто делает cost-benchmark
Скилл запускает тестовый скрипт scripts/bench.mjs из каталога v3/ на наборе задач из bench/booster-corpus.json. Тесты проверяют работу бустера локально без затрат примерно за 85 мс, а при передаче флагов подключают сравнение с базовыми моделями Gemini 2.0 Flash, Claude Sonnet 4.6 и Claude Opus 4.7. Все результаты замеров сохраняются в docs/benchmarks/runs/latest.json и архивируются по временным меткам.
Главный критерий проверки — показатель winRate для задач первого уровня, который должен быть не ниже 0.80 в scripts/smoke.sh. Диагностические состязательные примеры отслеживаются отдельно через escalationRate. Для сетевых тестов с внешними LLM понадобятся ключи GOOGLE_AI_API_KEY и ANTHROPIC_API_KEY в Google Cloud Secrets или соответствующие переменные окружения BENCH_LLM_API_KEY и BENCH_ANTHROPIC_API_KEY.
Какие задачи решает
- проверить процент побед бустера перед выпуском релиза
- сравнить стоимость выполнения задач на Sonnet 4.6 и Opus 4.7
- зафиксировать результаты бенчмарка в каталоге docs/benchmarks/runs/
- подтвердить корректность маршрутизации новых кейсов из booster-corpus.json
Примеры запросов агенту
- Запусти cost-benchmark для проверки локального бустера
- Прогони бенчмарк с флагом --anthropic для сравнения Sonnet и Opus
- Выполни cost-benchmark с базовой моделью Gemini через BENCH_LLM_BASELINE=1
Как установить cost-benchmark
1Через Skills CLI (Vercel)
npx skills add ruvnet/ruflo --skill cost-benchmark -a claude-code2Вручную: положить файлы
~/.claude/skills/cost-benchmark/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/cost-benchmark/
1Через Skills CLI (Vercel)
npx skills add ruvnet/ruflo --skill cost-benchmark -a codex2Вручную: положить файлы
.agents/skills/cost-benchmark/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add ruvnet/ruflo --skill cost-benchmark -a cursor2Вручную: положить файлы
.cursor/skills/cost-benchmark/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install ruvnet/ruflo cost-benchmark2Вручную: положить файлы
.github/skills/cost-benchmark/SKILL.md1Через Skills CLI (Vercel)
npx skills add ruvnet/ruflo --skill cost-benchmark -a gemini-cli2Командой платформы
gemini skills install https://github.com/ruvnet/ruflo --path plugins/ruflo-cost-tracker/skills/cost-benchmarkВручную: положить файлы
.devin/skills/cost-benchmark/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add ruvnet/ruflo --skill cost-benchmark -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
Из того же набора104
Весь набор →
ruflo Скилл добавляет в проект оркестрацию мультиагентных задач, память, маршрутизацию и MCP-инструменты. Нужен для swarm-сценариев и многошаговых workflows.
Claude Code CX Codex Cursor +1
4 000установок
Swarm Orchestration Скилл для управления роями агентов с параллельным выполнением задач, динамической топологией и автоматической балансировкой нагрузки. Нужен, когда одного агента недостаточно и требуется координировать специалистов разного профиля.
Claude Code CX Codex Cursor +1
2 100установок
github-project-management Скилл превращает рутину вокруг issue и доски проекта в вызовы gh и ruv-swarm: метки, подзадачи, поиск дублей. Пригодится, когда задач много, а порядка в трекере нет.
Claude Code CX Codex Cursor +1
1 400установок
github-workflow-automation Скилл автоматизирует GitHub Actions с координацией AI-агентов. Генерирует оптимальные pipeline, управляет pull request'ами, анализирует баги и развёртывает обновления с минимальными рисками.
Claude Code CX Codex Cursor +1
1 300установок
github-code-review Организует параллельное код-ревью в GitHub с помощью агентов безопасности, архитектуры и стиля через пакет ruv-swarm.
Claude Code CX Codex Cursor +1
1 300установок
stream-chain Организует последовательную передачу данных между шагами агента через цепочки промптов или готовые пайплайны.
Claude Code CX Codex Cursor +1
1 200установок
flow-nexus-swarm Развёртывает облачные рои ИИ-агентов и собирает событийные процессы с очередями сообщений. Нужен для координации задач, контроля запусков и масштабирования роя.
Claude Code CX Codex Cursor +1
1 200установок
performance-analysis Находит узкие места в Claude Flow swarms, профилирует операции агентов и генерирует отчёты с рекомендациями по оптимизации.
Claude Code CX Codex Cursor +1
1 200установок
Похожие
game-automation Скилл запускает игры, снимает экран через GPU-захват и управляет окном через виртуальные клавиши и мышь. Нужен ИИ-агенту для автоматической проверки модов в реальной игре.
Claude Code CX Codex Cursor +1
1 500установок
react18-batching-patterns
официальный Находит и устраняет регрессии автоматического батчинга в классовых компонентах React 18. Помогает исправить баги после обновления с React 17.
GitHub Copilot
754установок
qa-test-planner Собирает тест-план, ручные тест-кейсы, регрессионный набор и баг-репорт по описанию фичи. Запускается только по имени: qa-test-planner.
Claude Code CX Codex Cursor +1
4 300установок
react18-enzyme-to-rtl
официальный Помогает переписать тесты с Enzyme на React Testing Library при переходе на React 18. Пригодится, когда нужно заменить shallow, mount и проверку стейта на поведенческие тесты.
GitHub Copilot
739установок
engineering-skills Каталог инженерных скиллов для Claude Code: помогает выбрать роль под задачу и загрузить только нужный SKILL.md. Подходит для архитектуры, тестов, DevOps и работы с данными.
Claude Code
2 387установок
browser-trace Цепляет второй CDP-клиент к уже идущей браузерной сессии и пишет весь поток событий DevTools в файлы, чтобы потом разобрать упавший прогон.
Claude Code CX Codex Cursor +1
3 000установок
improve-codebase-architecture Скилл ищет архитектурные узкие места в кодовой базе и показывает варианты углубления модулей в HTML-отчёте. Подойдёт для ревью перед рефакторингом.
Claude Code
1 163 035установок
design-taste-frontend Скилл задаёт арт-дирекцию для публичных страниц и рабочих экранов, а затем проверяет результат в браузере по скриншотам. Нужен, когда интерфейс выглядит шаблонным или недоработанным.
Claude Code CX Codex Cursor +1
673 100установок
Вопросы о cost-benchmark
Как установить cost-benchmark в Claude Code?
Выполните команду npx skills add ruvnet/ruflo --skill cost-benchmark -a claude-code.
Что делает скилл cost-benchmark?
Он запускает прогон тестового корпуса через scripts/bench.mjs, оценивает процент успешных решений и сохраняет сводку в docs/benchmarks/runs/latest.json.
Какие ключи API нужны для запуска полных тестов?
Локальный прогон работает бесплатно без ключей. Для сравнения с Gemini или Claude скрипт запрашивает GOOGLE_AI_API_KEY и ANTHROPIC_API_KEY через gcloud secrets либо читает переменные BENCH_LLM_API_KEY и BENCH_ANTHROPIC_API_KEY.
Исходный текст
SKILL.md · MIT
---
name: cost-benchmark
description: Run the corpus benchmark — booster locally, optional Gemini/Sonnet/Opus baselines — and persist a verifiable measured-vs-claimed table
argument-hint: "[--llm] [--anthropic]"
allowed-tools: Bash
---
# Cost Benchmark
Runs `scripts/bench.mjs` against the structural+adversarial corpus and writes per-case + summary results to `docs/benchmarks/runs/`. This is the verification gate that backs every measurable claim in `cost-booster-edit` / `cost-booster-route`.
## When to use
- Before publishing a release — verify booster win rate didn't regress.
- After expanding `bench/booster-corpus.json` — confirm new cases route correctly.
- When auditing a "claimed upstream" tag — flip it to "verified" once the bench supports it.
- On a cost question ("is Sonnet 4.6 cheaper than Opus 4.7 for these tasks?") — re-run with `BENCH_ANTHROPIC=1`.
## Steps
1. **Run the bench from `v3/`** (where `agent-booster` resolves):
```bash
( cd v3 && node ../plugins/ruflo-cost-tracker/scripts/bench.mjs ) # booster only — free, ~85 ms
( cd v3 && BENCH_LLM_BASELINE=1 node ../plugins/ruflo-cost-tracker/scripts/bench.mjs ) # + Gemini 2.0 Flash (cheap)
( cd v3 && BENCH_LLM_BASELINE=1 BENCH_ANTHROPIC=1 \
node ../plugins/ruflo-cost-tracker/scripts/bench.mjs ) # + Sonnet 4.6 + Opus 4.7
```
2. **Inspect the markdown summary** printed to stdout. The gate metric is `winRate` (Tier 1 cases). Adversarial cases are tracked separately as `escalationRate`.
3. **Persisted output** lands at:
- `docs/benchmarks/runs/latest.json` — pointer to the most recent run
- `docs/benchmarks/runs/<ISO-timestamp>.json` — historical record
4. **Read it back** in subsequent skills (e.g. `cost-report` step 2 reads `latest.json` for live tier-spend numbers).
## Smoke gates
- `winRate ≥ 0.80` on Tier 1 cases (smoke step 23). Lower the threshold by editing `scripts/smoke.sh`.
- `escalationRate` is reported but ungated — adversarial cases are diagnostic.
## Env overrides
| Env var | Default | Purpose |
|---|---|---|
| `BENCH_LLM_BASELINE` | unset | `=1` runs the OpenAI-compat baseline |
| `BENCH_LLM_MODEL` | `models/gemini-2.0-flash` | Override the OpenAI-compat model |
| `BENCH_LLM_BASE_URL` | Gemini OpenAI shim | Override endpoint |
| `BENCH_ANTHROPIC` | unset | `=1` runs Anthropic baseline (Sonnet 4.6 + Opus 4.7) |
| `BENCH_ANTHROPIC_MODELS` | `claude-sonnet-4-6,claude-opus-4-7` | Comma-separated Claude IDs |
| `BENCH_OUT` | timestamped file | Override output path |
| `BENCH_QUIET=1` | unset | Suppress markdown summary |
API keys auto-pulled from `gcloud secrets` (`GOOGLE_AI_API_KEY`, `ANTHROPIC_API_KEY`); override with `BENCH_LLM_API_KEY` / `BENCH_ANTHROPIC_API_KEY`.
## Cross-references
ADR-0002 §"Decision 1" / §"Riskiest assumption" · `cost-booster-edit/SKILL.md` (verification table consumes this skill's output) · `cost-report/SKILL.md` step 2 (reads `runs/latest.json`).
© ruvnet · MIT · ruvnet/ruflo
