# benchmark

Прогоняет ваш RAG-конвейер по набору тестовых запросов и показывает, где уходят время и токены. Пригодится, когда ответы стали медленными или дорогими.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · ★ 24
- Автор: TakaGoto
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/TakaGoto/rag-learning-academy/tree/HEAD/.claude/skills/benchmark/SKILL.md
- Обновлён: 2026-04-03
- HTML: https://affpapa.org/nevibecode/skills/takagoto-benchmark

## Что делает

Скилл измеряет операционные показатели: задержку на каждом этапе (поиск, генерация, эмбеддинги), пропускную способность, расход токенов и памяти, примерную стоимость запроса. Качество ответов он не трогает — для этого в наборе есть отдельная команда `/evaluate`.

Работа идёт по шагам. Сначала скилл ищет ваш конвейер в `projects/` и `src/`, разбирает его на части (загрузчик, чанкер, эмбеддер, векторное хранилище, ретривер, генератор) и спрашивает, что именно мерить. Дальше помогает собрать тестовый набор из 20–50 запросов, эталонные ответы, обёртки для замера времени и прогревочные прогоны, чтобы холодный старт не портил цифры. Потом считает среднее, медиану, p95 и p99, рисует таблицу и разбирает, какой этап тормозит сильнее всего.

Отчёт сохраняется в `projects/[pipeline-name]/eval/benchmarks/report-[date].md`. Если конвейера в проекте ещё нет, скилл предложит сначала собрать его командой `/build` и на этом остановится — мерить будет нечего.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add TakaGoto/rag-learning-academy --skill benchmark -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/benchmark/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/benchmark/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add TakaGoto/rag-learning-academy --skill benchmark -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/benchmark/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add TakaGoto/rag-learning-academy --skill benchmark -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/benchmark/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install TakaGoto/rag-learning-academy benchmark
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/benchmark/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add TakaGoto/rag-learning-academy --skill benchmark -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/TakaGoto/rag-learning-academy --path .claude/skills/benchmark
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/benchmark/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add TakaGoto/rag-learning-academy --skill benchmark -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/TakaGoto/rag-learning-academy/tree/HEAD/.claude/skills/benchmark/SKILL.md

## Когда брать
- найти этап конвейера, который даёт основную задержку
- посчитать расход токенов и стоимость одного запроса
- сравнить метрики до и после оптимизации
- отловить отдельные запросы-выбросы, которые отвечают заметно дольше
- заложить базовую линию производительности перед масштабированием

## Примеры запросов агенту
- Прогони benchmark по конвейеру в `projects/rag-basic` и покажи, где основная задержка
- Собери тестовый набор из 30 запросов и замерь latency и расход токенов
- Сравни отчёт benchmark с прошлым прогоном после того, как я поменял размер чанков

## Похожие
- [benchmark-model](https://affpapa.org/nevibecode/skills/benchmark-model.md) — скилл · 887 установок
- [cost-benchmark](https://affpapa.org/nevibecode/skills/cost-benchmark.md) — скилл · 679 установок
- [benchmark-vllm-model](https://affpapa.org/nevibecode/skills/benchmark-vllm-model.md) — скилл · 837 установок
- [ai-product](https://affpapa.org/nevibecode/skills/sickn33-ai-product.md) — скилл · 960 установок
- [cost-trend](https://affpapa.org/nevibecode/skills/cost-trend.md) — скилл · 683 установки
- [benchmark-checklist](https://affpapa.org/nevibecode/skills/benchmark-checklist.md) — скилл · 4100 установок

## Другие версии с тем же именем
- [benchmark · affaan-m](https://affpapa.org/nevibecode/skills/benchmark.md) — 4500 установок
- [benchmark · hoangsonww](https://affpapa.org/nevibecode/skills/hoangsonww-benchmark.md) — ★ 1121

Из того же набора: [takagoto/rag-learning-academy](https://affpapa.org/nevibecode/by/takagoto/rag-learning-academy.md) — 5 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md