# nemo-mbridge-perf-parallelism-strategies

Помогает выбрать TP, PP, CP, EP и DP для обучения моделей в Megatron Bridge и объясняет, откуда берётся OOM после смены конфига.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1800 установок · ★ 3735
- Автор: NVIDIA
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/nemo-mbridge-perf-parallelism-strategies

## Что делает

Скилл отвечает на вопросы вида «какой параллелизм взять для такого числа GPU» и «почему после правки конфига стало падать по памяти». Внутри — таблицы стартовых значений для dense-моделей от < 1B до 175-500B и отдельная логика для MoE: там TP считается по активным параметрам, а не по общим, поэтому у DeepSeek-V3 671B / 37B советуют TP=2, а не 8. Основной размер — EP.

Есть привязка к железу: TP держат внутри одного NVLink-домена, для нескольких узлов берут PP или DP, потому что TP через сеть почти всегда теряет в скорости. Для длинных последовательностей добавляется SP, затем CP. Отдельный раздел — минимальное число GPU: `min_gpus = PP * max(TP * CP, EP * ETP)`, а не произведение всех размерностей. Полный перебор завышает требования и встречается в чужих slurm-таблицах — это повод перепроверить свои расчёты.

Внутри также формулы для DP и EDP, примеры конфигов 3D и 4D параллелизма и оценка памяти на 70B в FP16. Стартовые значения — не жёсткие правила: скилл советует профилировать первую итерацию и сверять память с коммуникациями.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-parallelism-strategies -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/nemo-mbridge-perf-parallelism-strategies/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-parallelism-strategies -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-parallelism-strategies -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills nemo-mbridge-perf-parallelism-strategies
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-parallelism-strategies -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/nemo-mbridge-perf-parallelism-strategies
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-parallelism-strategies -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-parallelism-strategies/SKILL.md

## Когда брать
- подобрать TP, PP и DP под конкретное число GPU
- посчитать минимальное число GPU для конфига MoE
- найти причину OOM после смены настроек параллелизма
- выбрать CP для длинных последовательностей
- разложить слои MoE по узлам через EP и PP

## Примеры запросов агенту
- Какой параллелизм выбрать для dense-модели на 70B на 64 GPU?
- Посчитай min_gpus для PP=2, TP=2, EP=8, ETP=1
- У меня OOM после того, как я поднял TP до 8 — что проверить?

## Похожие
- [build-parallelism](https://affpapa.org/nevibecode/skills/build-parallelism.md) — скилл · 3400 установок
- [run-experiment](https://affpapa.org/nevibecode/skills/run-experiment.md) — скилл · 523 установки
- [nemo-evaluator-sdk](https://affpapa.org/nevibecode/skills/nemo-evaluator-sdk.md) — скилл · 943 установки
- [deep-learning](https://affpapa.org/nevibecode/skills/deep-learning.md) — скилл · 946 установок
- [benchmark-model](https://affpapa.org/nevibecode/skills/benchmark-model.md) — скилл · 887 установок
- [gpu-server-management](https://affpapa.org/nevibecode/skills/gpu-server-management.md) — скилл · 331 установка

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md