# benchmark-kernel

Скилл benchmark-kernel для точного измерения производительности GPU-ядер FlashInfer с поддержкой CUPTI. Сравнивает бэкенды (FlashAttention2/3, cuDNN, CUTLASS), сохраняет результаты в CSV и генерирует воспроизводимые команды запуска.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 1 установка · ★ 6985 у репозитория
- Автор: flashinfer-ai
- Лицензия: Apache-2.0 · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/flashinfer-ai/flashinfer/tree/HEAD/.claude/skills/benchmark-kernel/SKILL.md
- Обновлён: 2026-11-11
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/benchmark-kernel

## Что делает

benchmark-kernel собирает метрики выполнения CUDA-ядер на уровне GPU. Инструмент поддерживает два режима профилирования: CUPTI (аппаратная профилировка, предпочтительна) и CUDA Events (резервный вариант). Автоматически выбирает CUPTI, если доступен `cupti-python >= 13.0.0` (CUDA 13+), иначе переходит на CUDA Events без потери функциональности.

Включает два способа работы: готовый скрипт `flashinfer_benchmark.py` для запуска стандартных тестов и функция `bench_gpu_time()` для встраивания в собственный код. Первый метод позволяет бенчмарить готовые рутины (Attention, GEMM, MOE) с выбором бэкендов, второй даёт контроль над параметрами в Python.

Выходные данные включают медианное время ядра, стандартное отклонение, достигнутые TFLOPS и пиковую пропускную способность памяти. Результаты можно сохранить в CSV с репроду́цирующими командами для проверки корректности вывода (`--refcheck`) и запуска без CUDA Graphics (`--no_cuda_graph`).

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add flashinfer-ai/flashinfer --skill benchmark-kernel -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/benchmark-kernel/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/benchmark-kernel/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add flashinfer-ai/flashinfer --skill benchmark-kernel -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/benchmark-kernel/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add flashinfer-ai/flashinfer --skill benchmark-kernel -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/benchmark-kernel/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install flashinfer-ai/flashinfer .claude/skills/benchmark-kernel
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/benchmark-kernel/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add flashinfer-ai/flashinfer --skill benchmark-kernel -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/flashinfer-ai/flashinfer --path .claude/skills/benchmark-kernel
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/benchmark-kernel/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add flashinfer-ai/flashinfer --skill benchmark-kernel -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/flashinfer-ai/flashinfer/tree/HEAD/.claude/skills/benchmark-kernel/SKILL.md

## Когда брать
- Измерить время выполнения GPU-ядер с точностью на уровне аппаратуры
- Сравнить производительность разных бэкендов внимания и matrix-умножения
- Сохранить воспроизводимые параметры бенчмарка для повторного запуска
- Валидировать корректность вывода ядер во время профилировки
- Интегрировать профилировку в собственный Python-код

## Примеры запросов агенту
- Бенчмарк декод-аттеншена: `python benchmarks/flashinfer_benchmark.py --routine BatchDecodeWithPagedKVCacheWrapper --backends fa2 fa2_tc cudnn --batch_size 32 --s_kv 2048 --num_qo_heads 32 --num_kv_heads 8 --head_dim_qk 128 --head_dim_vo 128 --refcheck`
- Сравни FP8 GEMM на трёх бэкендах и сохрани результат: `python benchmarks/flashinfer_benchmark.py --routine bmm_fp8 --backends cudnn cublas cutlass --batch_size 256 --m 1 --n 1024 --k 7168 --input_dtype fp8_e4m3 --output_path results.csv`
- Запусти серию тестов из файла с верификацией: `python benchmarks/flashinfer_benchmark.py --testlist my_benchmarks.txt --refcheck --generate_repro_command`

## Похожие
- [benchmark-vllm-model](https://affpapa.org/nevibecode/skills/benchmark-vllm-model.md) — скилл · 1900 установок
- [benchmark-model](https://affpapa.org/nevibecode/skills/benchmark-model.md) — скилл · 1000 установок
- [magpie-kernel-evaluator](https://affpapa.org/nevibecode/skills/magpie-kernel-evaluator.md) — скилл · 1300 установок
- [system-profile](https://affpapa.org/nevibecode/skills/system-profile.md) — скилл · 527 установок
- [flydsl-kernel-trace-analysis](https://affpapa.org/nevibecode/skills/flydsl-kernel-trace-analysis.md) — скилл · 436 установок
- [benchmark-checklist](https://affpapa.org/nevibecode/skills/benchmark-checklist.md) — скилл · 9100 установок

Из того же набора: [flashinfer-ai/flashinfer](https://affpapa.org/nevibecode/by/flashinfer-ai/flashinfer.md) — 2 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
