# benchmarking

Скилл benchmarking для Claude Code проверяет качество прогнозов и корректность результатов оценки. Запускается по запросу после расчёта модели или при подготовке результатов к публикации.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, Windsurf (Devin Desktop), Claude.ai · ★ 89 у репозитория
- Автор: bis-med-it
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/bis-med-it/marco-BIS/tree/HEAD/skills/benchmarking/SKILL.md
- Обновлён: 2026-11-12
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/benchmarking

## Что делает

Скилл сравнивает прогнозы модели с базовыми методами и опубликованными результатами, проверяет экономическую правдоподобность и сверяет расчёты с подходящей эталонной реализацией. Для оценки нужны результаты модели и использованный набор данных. Саму модель оценивает код оценки, а скилл проверяет его выходы.

В режиме разработки он проверяет прогнозы на отложенной выборке и ищет ошибки конвейера, например бесконечные значения или нулевую дисперсию прогноза. Полный набор проверок предназначен для подготовки результатов к публикации. Режим выбирается в запросе.

Подбор параметров должен выполняться только на обучающем окне: настройка на всей выборке приводит к утечке данных. Если для метода нет нужного стандартного выхода, соответствующую проверку пропускают; диагностика остатков относится к другому скиллу.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add bis-med-it/marco-BIS --skill benchmarking -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/benchmarking/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/benchmarking/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add bis-med-it/marco-BIS --skill benchmarking -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/benchmarking/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add bis-med-it/marco-BIS --skill benchmarking -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/benchmarking/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install bis-med-it/marco-BIS skills/benchmarking
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/benchmarking/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add bis-med-it/marco-BIS --skill benchmarking -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/bis-med-it/marco-BIS --path skills/benchmarking
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/benchmarking/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/bis-med-it/marco-BIS/tree/HEAD/skills/benchmarking/SKILL.md

## Когда брать
- сравнить точность прогноза с базовыми моделями
- найти ошибки в результатах на отложенной выборке
- проверить сходимость импульсных откликов
- сверить модель с эталонной реализацией

## Примеры запросов агенту
- Оцени результаты модели и сравни прогнозы с базовыми методами.
- Проверь качество прогноза на отложенной выборке.
- Подготовь полную оценку модели для статьи.

## Похожие
- [arize-experiment](https://affpapa.org/nevibecode/skills/arize-experiment.md) — скилл · 1100 установок
- [benchmarking-specialist](https://affpapa.org/nevibecode/agents/benchmarking-specialist.md) — субагент · ★ 2858 у репозитория
- [SigRank — AI Operator Benchmarking](https://affpapa.org/nevibecode/mcp/sigrank-ai-operator-benchmarking.md) — MCP-сервер · ★ 7 у репозитория
- [statsmodels](https://affpapa.org/nevibecode/skills/k-dense-ai-statsmodels.md) — скилл · 2400 установок
- [stata-regression](https://affpapa.org/nevibecode/skills/stata-regression.md) — скилл · 430 установок
- [r-econometrics](https://affpapa.org/nevibecode/skills/r-econometrics.md) — скилл · 340 установок

Из того же набора: [bis-med-it/marco-bis](https://affpapa.org/nevibecode/by/bis-med-it/marco-bis.md) — 12 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
