# nemo-mbridge-perf-moe-vlm-training

Скилл с практическими рекомендациями по обучению MoE VLM в Megatron Bridge. Помогает настроить FSDP или 3D-параллелизм и избежать падений по OOM.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1800 установок · ★ 3735
- Автор: NVIDIA
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/nemo-mbridge-perf-moe-vlm-training

## Что делает

Скилл содержит инженерные выводы NVIDIA по обучению мультимодальных моделей смеси экспертов (MoE VLM) вроде Qwen3-VL и Qwen3-Next. Внутри собраны правила выбора между FSDP и 3D-параллелизмом, параметры для ускорителей GB200 и B200, а также типовые конфигурации для распределённого обучения.

Основная рекомендация — сначала стабилизировать запуск на FSDP, а переходить на 3D-параллелизм только ради дополнительной пропускной способности. Скилл задаёт настройки диспетчера HybridEP, рекомендует селективный пересчёт активаций (selective recompute) вместо полного и сужает область охвата CUDA graphs до связки `attn moe_router moe_preprocess`. Включать ETP советует только тогда, когда одного EP недостаточно для размещения модели в памяти.

Синтетические данные без изображений работают примерно в два раза быстрее реального мультимодального потока, поэтому делать выводы о скорости по тестовым заглушкам нельзя. Для проверки стабильности нужно сразу профилировать энкодер, проектор и декодер на реальных картинках.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-moe-vlm-training -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/nemo-mbridge-perf-moe-vlm-training/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-moe-vlm-training -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-moe-vlm-training -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills nemo-mbridge-perf-moe-vlm-training
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-moe-vlm-training -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/nemo-mbridge-perf-moe-vlm-training
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-perf-moe-vlm-training -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-moe-vlm-training/SKILL.md

## Когда брать
- выбрать между FSDP и 3D-параллелизмом для запуска MoE VLM
- устранить нехватку памяти GPU и ошибки OOM при обучении
- настроить диспетчер HybridEP и охват CUDA graphs на GB200
- подобрать размер микробатча (MBS) и режим пересчёта активаций

## Примеры запросов агенту
- Помоги выбрать между FSDP и 3D-параллелизмом для обучения Qwen3-VL на кластере GB200.
- Проанализируй причины OOM при обучении MoE VLM в Megatron Bridge и предложи настройки recompute.
- Как настроить HybridEP и CUDA graphs для мультимодальной MoE-модели?

## Похожие
- [miles-rl-training](https://affpapa.org/nevibecode/skills/miles-rl-training.md) — скилл · 946 установок
- [spark-training-gotchas](https://affpapa.org/nevibecode/skills/spark-training-gotchas.md) — скилл · 2500 установок
- [nemo-guardrails](https://affpapa.org/nevibecode/skills/nemo-guardrails.md) — скилл · 944 установки
- [open-autoglm-phone-agent](https://affpapa.org/nevibecode/skills/open-autoglm-phone-agent.md) — скилл · 1400 установок
- [grpo-rlvr-training](https://affpapa.org/nevibecode/skills/grpo-rlvr-training.md) — скилл · 2600 установок
- [trl-training](https://affpapa.org/nevibecode/skills/trl-training.md) — скилл · 909 установок

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md