# nemo-mbridge-resiliency

Скилл описывает настройку отказоустойчивости в Megatron Bridge: перезапуски, детекцию отстающих рангов, преемпцию и повторные прогоны.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1800 установок · ★ 3735
- Автор: NVIDIA
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-resiliency/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/nemo-mbridge-resiliency

## Что делает

Скилл собирает в одном месте параметры устойчивости обучения в Megatron Bridge. Внутри — конфиги для четырёх механизмов: отказоустойчивость через `FaultToleranceConfig` или плагин NeMo Run, детекция отстающих GPU (`NVRxStragglerDetectionConfig`), обработка преемпции и экспериментальная машина повторных прогонов (`RerunStateMachineConfig`). Есть и экспериментальный перезапуск внутри процесса (`InProcessRestartConfig`).

Отказоустойчивость рассчитана на Slurm. Запускать нужно через `ft_launcher`, а не `torchrun`, и для не-Slurm окружения выставить `GROUP_RANK=0`. Мониторинг таймаутов разбит по секциям: setup, шаги обучения, чекпоинты и всё остальное. При `calc_ft_timeouts=True` значения сохраняются в `ft_state.json` и переиспользуются в следующих запусках.

Для перезапуска внутри процесса нужны три переменные окружения: `TORCH_CPP_LOG_LEVEL=error`, `TORCH_NCCL_RETHROW_CUDA_ERRORS=0` и `NCCL_NVLS_ENABLE=0`. Таймаут watchdog в PyTorch NCCL должен быть больше `hard_timeout`, иначе механизм не сработает как задумано. Slurm Executor из NeMo-Run не поддерживается — это повод проверить свой способ запуска до того, как включать опцию.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-resiliency -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/nemo-mbridge-resiliency/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/nemo-mbridge-resiliency/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-resiliency -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/nemo-mbridge-resiliency/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-resiliency -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/nemo-mbridge-resiliency/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills nemo-mbridge-resiliency
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/nemo-mbridge-resiliency/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-resiliency -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/nemo-mbridge-resiliency
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/nemo-mbridge-resiliency/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill nemo-mbridge-resiliency -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-resiliency/SKILL.md

## Когда брать
- включить отказоустойчивость обучения на Slurm
- найти ранг, который тормозит весь шаг
- перезапустить обучение после падения узла без потери прогресса
- обработать преемпцию и сохранить чекпоинт
- разобраться, почему обучение зависает после коммита

## Примеры запросов агенту
- включи fault tolerance для запуска на Slurm с тремя перезапусками внутри job
- настрой детекцию отстающих GPU с порогом 0.7 и логом каждые 300 секунд
- почему обучение зависает — проверь настройки in-process restart

## Похожие
- [nemo-evaluator-sdk](https://affpapa.org/nevibecode/skills/nemo-evaluator-sdk.md) — скилл · 943 установки
- [pytorch-patterns](https://affpapa.org/nevibecode/skills/pytorch-patterns.md) — скилл · 4800 установок
- [deep-learning](https://affpapa.org/nevibecode/skills/deep-learning.md) — скилл · 946 установок
- [ml-training-recipes](https://affpapa.org/nevibecode/skills/ml-training-recipes.md) — скилл · 912 установок
- [spark-training-gotchas](https://affpapa.org/nevibecode/skills/spark-training-gotchas.md) — скилл · 2500 установок
- [mle-workflow](https://affpapa.org/nevibecode/skills/mle-workflow.md) — скилл · 4600 установок

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 195 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md