distributed-training-megatron-core — скилл для Claude Code

Что делает distributed-training-megatron-core

Скилл ведёт агента по обучению моделей от 2B до 462B параметров на GPU NVIDIA. Внутри — готовые сценарии: 3D-параллелизм для LLaMA-подобных моделей, mixture of experts вроде Mixtral и настройка на максимальную пропускную способность. Агент подбирает степени tensor, pipeline, context и expert parallelism под размер модели и число GPU, а затем собирает вызов torchrun с нужными флагами.

Для LLaMA 70B в скилле лежит готовый чеклист из четырёх шагов и скрипт train_llama_70b.sh с гиперпараметрами: 80 слоёв, hidden size 8192, 64 головы, длина последовательности 4096. Запуск — через torchrun на одной ноде или sbatch в SLURM на нескольких. Отдельный сценарий для MoE показывает, как разложить 8 экспертов по 4 GPU и срезать память.

Скилл опирается на зависимости megatron-core, torch, apex и transformer-engine, поэтому без них примеры не пойдут. FP8-режим работает только на H100. Tensor parallel советует держать в пределах 8 — упирается в NVLink внутри ноды, а context parallel включать для последовательностей длиннее 8K токенов.