# rag-perf

Гоняет развёрнутый сервер NVIDIA RAG Blueprint через профилирование и нагрузочный тест aiperf по одному YAML-конфигу.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 2200 установок · ★ 3735
- Автор: NVIDIA RAG
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/rag-perf/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/rag-perf

## Что делает

Скилл запускает бенчмарк производительности на уже работающем сервере NVIDIA RAG Blueprint. Сначала идёт профилирующий проход: тайминги по стадиям, качество цитат, поиск узкого места. Потом по желанию подключается нагрузочный тест aiperf — TTFT, сквозное время, пропускная способность по токенам и запросам, доля ошибок. Всё поведение задаёт YAML, CLI принимает только `-c / --config`, `--help` и `--version`.

Внутри три готовых пресета: `quick_profile.yaml` для быстрой итерации по настройке поиска и реранкера, `single_run.yaml` для проверки регрессий, `sweep.yaml` для перебора по нескольким осям сразу. Список значений `load.concurrency`, `rag.vdb_top_k`, `rag.reranker_top_k` превращается в оси перебора с декартовым произведением. Каждый запуск печатает разрешённый конфиг целиком, поэтому прогон воспроизводится прямо из вывода терминала.

Перед запуском нужно склонировать репозиторий, поставить Python 3.11+ и `uv`, выполнить `uv sync --project scripts/rag-perf` и запускать команды из корня репозитория. Обязательно замените `rag.collection_names: ["<collection_name>"]` на реальную коллекцию — плейсхолдер проходит валидацию, но каждый запрос упадёт на этапе поиска. Для синтетических запросов нужен OpenAI-совместимый эндпоинт чата. Это разовый замер, а не мониторинг: для оценки точности ответов берите rag-eval, для развёртывания и починки сервисов — rag-blueprint.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill rag-perf -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/rag-perf/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/rag-perf/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill rag-perf -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/rag-perf/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill rag-perf -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/rag-perf/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills rag-perf
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/rag-perf/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill rag-perf -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/rag-perf
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/rag-perf/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill rag-perf -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/rag-perf/SKILL.md

## Когда брать
- замерить TTFT и сквозное время ответа RAG-сервера
- найти узкое место по стадиям обработки запроса
- сравнить пропускную способность на разных уровнях конкурентности
- проверить регрессию после смены реранкера или top-k
- перебрать сетку параметров поиска за один прогон

## Примеры запросов агенту
- прогони rag-perf на quick_profile.yaml и покажи, где теряется время
- сделай sweep по concurrency и vdb_top_k, посчитай эффективность масштабирования
- запусти single_run.yaml и проверь, нет ли нулевых цитат и ошибок

## Похожие
- [rag-observability-evals](https://affpapa.org/nevibecode/skills/rag-observability-evals.md) — скилл · 318 установок
- [rag-infrastructure](https://affpapa.org/nevibecode/skills/rag-infrastructure.md) — скилл · 325 установок
- [langchain-rag](https://affpapa.org/nevibecode/skills/langchain-rag.md) — скилл · 17500 установок
- [agent-platform-rag-engine-management](https://affpapa.org/nevibecode/skills/agent-platform-rag-engine-management.md) — скилл · 8626 установок
- [nemo-evaluator-sdk](https://affpapa.org/nevibecode/skills/nemo-evaluator-sdk.md) — скилл · 943 установки
- [pinecone-rag](https://affpapa.org/nevibecode/skills/pinecone-rag.md) — скилл · 24 установки

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md