# benchmark-model

Гоняет нагрузку на запущенный max serve и выдаёт tokens/sec, TTFT и TPOT. Нужен, когда надо понять, сколько модель держит и где проседает latency.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 887 установок · ★ 206
- Автор: modular
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/modular/skills/tree/HEAD/benchmark-model/SKILL.md
- Обновлён: 2026-10-25
- HTML: https://affpapa.org/nevibecode/skills/benchmark-model

## Что делает

Скилл превращает агент в генератор нагрузки для уже работающего сервера MAX. Он шлёт запросы на живой эндпоинт `max serve`, замеряет их и отдаёт throughput в токенах в секунду и задержки: TTFT, TPOT, inter-token latency. Режим выбирать не надо — каждый прогон показывает и скорость, и задержку сразу.

Главное здесь — подобрать нагрузку под вопрос. Хочешь лучшую задержку одного запроса — ставь `--max-concurrency 1` и фиксированную форму через `--random-input-len` и `--random-output-len`. Нужен пик throughput и точка, где latency начинает расти — гони свип `--max-concurrency 1,2,4,8,16,32` с большим `--num-prompts`. Датасет тоже выбирается: `random` для чистых микрозамеров, `sharegpt` для реального чата, `arxiv-summarization` для длинного контекста.

Перед прогоном нужен установленный MAX через pip или pixi и запущенный сервер. Имя в `--model` должно точно совпадать с `--served-model-name` сервера, иначе все запросы падают. Если серверное имя — алиас без `/`, передай настоящий Hugging Face ID в `--tokenizer`, иначе прогон умрёт с ошибкой про невалидный идентификатор. Для `--collect-gpu-stats` бенчмарк должен идти на той же машине с NVIDIA, что и сервер. И ещё: свип до `--max-concurrency 32` против сервера с `--max-batch-size 1` просто ставит запросы в очередь — высокие точки ничего не значат, пока не поднимешь batch size.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add modular/skills --skill benchmark-model -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/benchmark-model/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/benchmark-model/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add modular/skills --skill benchmark-model -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/benchmark-model/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add modular/skills --skill benchmark-model -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/benchmark-model/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install modular/skills benchmark-model
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/benchmark-model/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add modular/skills --skill benchmark-model -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/modular/skills --path benchmark-model
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/benchmark-model/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add modular/skills --skill benchmark-model -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/modular/skills/tree/HEAD/benchmark-model/SKILL.md

## Когда брать
- получить tokens/sec и TTFT для модели на MAX
- найти точку, где рост concurrency начинает портить latency
- сравнить прогоны между собой по сохранённому JSON
- подобрать размер деплоя под целевую нагрузку
- разобраться, почему прогон не подключается или выдаёт нули

## Примеры запросов агенту
- замерь latency одного запроса к модели на localhost:8000
- прогони свип по concurrency и покажи, где throughput упирается в потолок
- сделай бенчмарк на sharegpt и сохрани результат в results/throughput.json

## Похожие
- [cost-trend](https://affpapa.org/nevibecode/skills/cost-trend.md) — скилл · 683 установки
- [best-ai-marketing-platform-benchmark](https://affpapa.org/nevibecode/skills/best-ai-marketing-platform-benchmark.md) — скилл · 903 установки
- [cost-benchmark](https://affpapa.org/nevibecode/skills/cost-benchmark.md) — скилл · 679 установок
- [benchmark-paper-template](https://affpapa.org/nevibecode/skills/benchmark-paper-template.md) — скилл · 679 установок
- [benchmark](https://affpapa.org/nevibecode/skills/benchmark.md) — скилл · 4500 установок
- [benchmark-checklist](https://affpapa.org/nevibecode/skills/benchmark-checklist.md) — скилл · 4100 установок

Из того же набора: [modular/skills](https://affpapa.org/nevibecode/by/modular/skills.md) — 10 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md