distributed-training-accelerate — скилл для Claude Code
Скилл помогает добавить распределённое обучение в PyTorch-скрипт через HuggingFace Accelerate. Пригодится для перехода с одной GPU на несколько или настройки смешанной точности.
npx claude-code-templates@latest --skill ai-research/distributed-training-accelerateЧто делает distributed-training-accelerate
Скилл показывает, как подключить Accelerator к PyTorch-скрипту: подготовить модель, оптимизатор и загрузчик данных, а градиенты передавать через Accelerate. Так один скрипт можно настроить для DDP, DeepSpeed, FSDP или Megatron, а запускать командой accelerate launch train.py.
В примерах есть интерактивная настройка через accelerate config, смешанная точность FP16 и BF16, ZeRO-2, FSDP и накопление градиентов. Для установки библиотеки в инструкции используется pip install accelerate; также перечислены зависимости torch и transformers. FP8 в примере рассчитан на H100 и новее — это ограничение важно учесть до настройки.
Какие задачи решает
- перевести PyTorch-скрипт с одной GPU на несколько
- настроить запуск обучения через DDP, DeepSpeed или FSDP
- включить FP16 или BF16 в обучении
- накапливать градиенты между шагами
Примеры запросов агенту
- Покажи, как добавить Accelerate в мой PyTorch-скрипт обучения.
- Настрой запуск
train.pyна нескольких GPU с DeepSpeed ZeRO-2. - Добавь накопление градиентов и смешанную точность BF16.
Как установить distributed-training-accelerate
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/distributed-training-accelerate2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill distributed-training-accelerate -a claude-code3Вручную: положить файлы
~/.claude/skills/distributed-training-accelerate/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/distributed-training-accelerate/
Вручную: положить файлы
.agents/skills/distributed-training-accelerate/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/distributed-training-accelerate/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates distributed-training-accelerate2Вручную: положить файлы
.github/skills/distributed-training-accelerate/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/distributed-training-accelerateВручную: положить файлы
.devin/skills/distributed-training-accelerate/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о distributed-training-accelerate
Как установить distributed-training-accelerate в Claude Code?
Выполните npx claude-code-templates@latest --skill ai-research/distributed-training-accelerate.
Что делает distributed-training-accelerate?
Скилл объясняет, как подключить HuggingFace Accelerate к PyTorch-коду для распределённого обучения. В нём есть примеры для DDP, DeepSpeed, FSDP и смешанной точности.
Что нужно для обучения с FP8?
В примере FP8 указан для H100 и новее. Для установки Accelerate инструкция использует pip install accelerate.