# distributed-training-megatron-core

Скилл для обучения больших языковых моделей на NVIDIA Megatron-Core: подбирает стратегию параллелизма и собирает команду запуска.

- скилл · `type=skill` · Claude Code · 88 установок
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/distributed-training-megatron-core
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/distributed-training-megatron-core

## Что делает

Скилл ведёт агента по обучению моделей от 2B до 462B параметров на GPU NVIDIA. Внутри — готовые сценарии: 3D-параллелизм для LLaMA-подобных моделей, mixture of experts вроде Mixtral и настройка на максимальную пропускную способность. Агент подбирает степени tensor, pipeline, context и expert parallelism под размер модели и число GPU, а затем собирает вызов `torchrun` с нужными флагами.

Для LLaMA 70B в скилле лежит готовый чеклист из четырёх шагов и скрипт `train_llama_70b.sh` с гиперпараметрами: 80 слоёв, hidden size 8192, 64 головы, длина последовательности 4096. Запуск — через `torchrun` на одной ноде или `sbatch` в SLURM на нескольких. Отдельный сценарий для MoE показывает, как разложить 8 экспертов по 4 GPU и срезать память.

Скилл опирается на зависимости `megatron-core`, `torch`, `apex` и `transformer-engine`, поэтому без них примеры не пойдут. FP8-режим работает только на H100. Tensor parallel советует держать в пределах 8 — упирается в NVLink внутри ноды, а context parallel включать для последовательностей длиннее 8K токенов.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/distributed-training-megatron-core
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill distributed-training-megatron-core -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/distributed-training-megatron-core/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/distributed-training-megatron-core/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/distributed-training-megatron-core/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/distributed-training-megatron-core/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates distributed-training-megatron-core
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/distributed-training-megatron-core/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/distributed-training-megatron-core
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/distributed-training-megatron-core/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/distributed-training-megatron-core

## Когда брать
- выбрать степени параллелизма под размер модели и число GPU
- собрать команду `torchrun` с tensor, pipeline и context parallel
- разложить экспертов MoE по GPU и сократить расход памяти
- включить FP8 на H100 и поднять MFU выше 40%
- подобрать micro-batch, который ещё влезает в память

## Примеры запросов агенту
- Собери конфигурацию для обучения LLaMA 70B на 64 GPU
- Как разложить 8 экспертов Mixtral по 4 GPU?
- Подбери micro-batch для модели 70B на H100

## Похожие
- [nemo-automodel-distributed-training](https://affpapa.org/nevibecode/skills/nemo-automodel-distributed-training.md) — скилл · 2000 установок
- [nemo-mbridge-perf-activation-recompute](https://affpapa.org/nevibecode/skills/nemo-mbridge-perf-activation-recompute.md) — скилл · 1800 установок
- [spark-training-gotchas](https://affpapa.org/nevibecode/skills/spark-training-gotchas.md) — скилл · 2500 установок
- [distributed-tracing](https://affpapa.org/nevibecode/skills/distributed-tracing.md) — скилл · 10700 установок
- [openrlhf-training](https://affpapa.org/nevibecode/skills/openrlhf-training.md) — скилл · 954 установки
- [miles-rl-training](https://affpapa.org/nevibecode/skills/miles-rl-training.md) — скилл · 946 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 495 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md