# distributed-llm-pretraining-torchtitan

Помогает настраивать предобучение LLM через torchtitan с 4D-параллелизмом (FSDP2, TP, PP, CP). Пригодится при запуске Llama 3.1 или DeepSeek V3 на кластерах от 8 до 512+ GPU.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 954 установки · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/01-model-architecture/torchtitan/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/distributed-llm-pretraining-torchtitan

## Что делает

Скилл даёт готовые инструкции по запуску предобучения моделей масштаба от 8B до 405B параметров на базе torchtitan. Внутри собраны шаблоны конфигураций TOML для FSDP2, тензорного, пайплайн- и контекстного параллелизма. Агент помогает подготовить скрипты запуска для одного узла или кластера под управлением SLURM.

Для работы требуются `torch>=2.6.0`, `torchtitan>=0.2.0` и `torchao>=0.5.0`. Если вы обучаете модель на ускорителях H100, скилл показывает, как подключить квантование Float8 через библиотеку torchao и задействовать `torch.compile`. Это даёт прирост скорости и снижает потребление памяти.

При нехватке видеопамяти скилл предлагает переключить activation checkpointing в полный режим или настроить накопление градиентов. Без свежего PyTorch запустить окружение не выйдет.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill distributed-llm-pretraining-torchtitan -a claude-code
```
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill torchtitan -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/torchtitan/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/torchtitan/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill torchtitan -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/torchtitan/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill torchtitan -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/torchtitan/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs torchtitan
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/torchtitan/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill torchtitan -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 01-model-architecture/torchtitan
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/torchtitan/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill torchtitan -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/01-model-architecture/torchtitan/SKILL.md

## Когда брать
- подготовить TOML-конфиг для распределённого обучения Llama 3.1
- настроить 4D-параллелизм для масштабирования на 512 GPU
- составить SLURM-скрипт запуска для многоузлового кластера
- включить Float8 и torch.compile для ускорения обучения на H100
- устранить ошибку Out of Memory через activation checkpointing

## Примеры запросов агенту
- Сделай TOML-конфиг для предобучения Llama 3.1 8B на 8 GPU через torchtitan
- Напиши SLURM-скрипт для запуска torchtitan на 32 нодах с тензорным параллелизмом
- Как включить Float8 обучение через torchao в torchtitan?

## Похожие
- [nemo-automodel-distributed-training](https://affpapa.org/nevibecode/skills/nemo-automodel-distributed-training.md) — скилл · 2000 установок
- [nemo-mbridge-perf-tp-dp-comm-overlap](https://affpapa.org/nevibecode/skills/nemo-mbridge-perf-tp-dp-comm-overlap.md) — скилл · 1800 установок
- [flow-nexus-neural](https://affpapa.org/nevibecode/skills/flow-nexus-neural.md) — скилл · 1100 установок
- [distributed-tracing](https://affpapa.org/nevibecode/skills/distributed-tracing.md) — скилл · 10700 установок
- [llm-evaluation](https://affpapa.org/nevibecode/skills/llm-evaluation.md) — скилл · 12755 установок
- [cost-aware-llm-pipeline](https://affpapa.org/nevibecode/skills/cost-aware-llm-pipeline.md) — скилл · 4600 установок

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md