emerging-techniques-moe-training — скилл для Claude Code
Скилл помогает настроить обучение разреженных моделей Mixture of Experts через DeepSpeed или Transformers. Позволяет масштабировать ёмкость нейросети без пропорционального роста вычислений.
npx claude-code-templates@latest --skill ai-research/emerging-techniques-moe-trainingЧто делает emerging-techniques-moe-training
Скилл содержит шаблоны и рекомендации по реализации архитектур со смесью экспертов (MoE), аналогичных Mixtral 8x7B и DeepSeek-V3. Агент помогает спроектировать маршрутизацию и настроить объединение выходов экспертных блоков.
В материалах скилла описаны механизмы выбора экспертов Top-1 и Top-2, а также подход Expert Choice. Для стабильности обучения используются балансировочная функция потерь и router z-loss, предотвращающие перегрузку отдельных экспертов.
Для запуска обучающих скриптов в окружении понадобятся библиотеки torch, deepspeed, transformers и accelerate. Без предварительной установки этих пакетов распределённую тренировку запустить не удастся.
Какие задачи решает
- настроить маршрутизацию токенов по экспертам через Top-1 или Top-2
- внедрить вспомогательный loss для балансировки нагрузки на экспертов
- сконфигурировать параметры параллелизма экспертов для DeepSpeed
- обучить разреженную архитектуру уровня Mixtral или DeepSeek-V3
Примеры запросов агенту
- Помоги написать слой MoE с Top-2 маршрутизацией на PyTorch
- Сгенерируй скрипт запуска DeepSpeed для обучения модели со 128 экспертами
Как установить emerging-techniques-moe-training
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/emerging-techniques-moe-training2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill emerging-techniques-moe-training -a claude-code3Вручную: положить файлы
~/.claude/skills/emerging-techniques-moe-training/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/emerging-techniques-moe-training/
Вручную: положить файлы
.agents/skills/emerging-techniques-moe-training/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/emerging-techniques-moe-training/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates emerging-techniques-moe-training2Вручную: положить файлы
.github/skills/emerging-techniques-moe-training/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/emerging-techniques-moe-trainingВручную: положить файлы
.devin/skills/emerging-techniques-moe-training/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о emerging-techniques-moe-training
Как установить emerging-techniques-moe-training в Claude Code?
Выполните команду npx claude-code-templates@latest --skill ai-research/emerging-techniques-moe-training. Скилл сразу станет доступен агенту.
Для чего нужен этот скилл?
Он помогает проектировать и обучать разреженные нейросети Mixture of Experts. Подход снижает затраты на вычисления по сравнению с плотными моделями сопоставимой ёмкости.
Какие зависимости нужны для запуска кода?
Для работы с кодом требуются установленные Python-библиотеки torch, deepspeed версии 0.6.0 или новее, transformers и accelerate.
