distributed-training-deepspeed — скилл Claude Code: установка
Помогает настроить распределённое обучение с DeepSpeed, ZeRO и асинхронным сбросом тензоров в DeepNVMe. Полезен инженерам при обучении тяжёлых нейросетей.
npx claude-code-templates@latest --skill ai-research/distributed-training-deepspeedЧто делает distributed-training-deepspeed
Скилл содержит инструкции по архитектуре DeepSpeed: стадиям распределения памяти ZeRO, параллелизму пайплайнов, форматам смешанной точности FP16, BF16 и FP8, а также 1-bit Adam. Он ориентирован на отладку скриптов и ускорение обучения моделей на базе PyTorch и Hugging Face Transformers.
Значительная часть руководства посвящена модулю DeepNVMe. Рассматривается работа с фабриками AsyncIOBuilder и GDSBuilder, создание дескрипторов aio_handle и gds_handle, а также синхронная и неблокирующая запись тензоров на диск через .wait().
Для работы требуются DeepSpeed версии не ниже 0.15.0, torch, transformers и accelerate. Без системного пакета libaio-dev и подтверждения статуса в ds_report базовый оператор async_io не соберётся.
Какие задачи решает
- сконфигурировать стадии распределения памяти ZeRO
- настроить неблокирующий сброс тензоров через DeepNVMe
- устранить ошибки компиляции оператора async_io с помощью ds_report
- внедрить смешанную точность FP16, BF16 или FP8 в процесс обучения
Примеры запросов агенту
- Помоги настроить асинхронную запись тензора через DeepNVMe aio_handle
- Как включить параллелизм пайплайнов и оптимизацию ZeRO в конфигурации DeepSpeed?
- Утилита ds_report ругается на отсутствие libaio, как починить сборку оператора?
Как установить distributed-training-deepspeed
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/distributed-training-deepspeed2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill distributed-training-deepspeed -a claude-code3Вручную: положить файлы
~/.claude/skills/distributed-training-deepspeed/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/distributed-training-deepspeed/
Вручную: положить файлы
.agents/skills/distributed-training-deepspeed/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/distributed-training-deepspeed/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates distributed-training-deepspeed2Вручную: положить файлы
.github/skills/distributed-training-deepspeed/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/distributed-training-deepspeedВручную: положить файлы
.devin/skills/distributed-training-deepspeed/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о distributed-training-deepspeed
Как установить distributed-training-deepspeed в Claude Code?
Выполните команду npx claude-code-templates@latest --skill ai-research/distributed-training-deepspeed. Другой вариант — запустить npx skills add davila7/claude-code-templates --skill distributed-training-deepspeed -a claude-code или вручную поместить файл в ~/.claude/skills/distributed-training-deepspeed/SKILL.md.
Что делает скилл distributed-training-deepspeed?
Он предоставляет готовые шаблоны и правила для построения распределённого обучения с библиотекой DeepSpeed. В него включены рекомендации по этапам ZeRO, смешанной точности и прямому вводу-выводу через NVMe.
Какие системные библиотеки нужны для работы с DeepNVMe?
Потребуется DeepSpeed от версии 0.15.0 и системный пакет libaio-dev в Linux. Статус готовности драйверов async_io и gds проверяется системной командой ds_report.
