flash-moe-inference — скилл для Claude Code: что делает и установка
Помогает запустить модель Qwen3.5-397B на процессорах Apple Silicon за счёт потоковой загрузки экспертов с SSD. Рассчитан на компьютеры с 48 ГБ объединённой памяти.
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a claude-codeЧто делает flash-moe-inference
Скилл содержит инструкции для компиляции и запуска низкоуровневого движка на чистом C, Objective-C и шейдерах Metal. Модель Qwen3.5-397B целиком не помещается в оперативную память Mac, поэтому система подгружает нужные 209 ГБ весов частями. Для каждого токена считываются только четыре активных эксперта на слой через системные вызовы параллельного чтения с накопителя NVMe. Это даёт темп от 4.4 токенов в секунду без фреймворков машинного обучения.
Кодовая база состоит из файлов infer.m, консольного интерфейса chat.m и бенчмарка main.m. Веса готовятся заранее: скрипты на Python переводят исходный формат safetensors в бинарные файлы и пакуют слои с 4-битным квантованием. Есть вариант сжатия экспертов до 2 бит, который освобождает около 89 ГБ места на диске, но нарушает вывод валидного JSON и ломает вызов инструментов.
Для работы требуется macOS 26 или новее, установленные Xcode Command Line Tools и свободные 210 ГБ на встроенном накопителе. На компьютерах без чипа Apple Silicon уровня M3 Max запустить этот конвейер не получится.
Какие задачи решает
- собрать исполняемые файлы движка на Metal и C через утилиту
make - сконвертировать веса Qwen3.5-397B из safetensors в бинарные файлы
- запустить консольный чат с поддержкой вызова функций на локальном Mac
- измерить чистую скорость прогона слоёв MoE без учёта механизма внимания
Примеры запросов агенту
- Собери Flash-MoE через make и проверь наличие бинарников infer и chat
- Помоги распаковать веса модели Qwen3.5 в 4-битный формат для стриминга с SSD
- Запусти инференс команды infer с промптом на 100 токенов
Как установить flash-moe-inference
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a claude-code2Вручную: положить файлы
~/.claude/skills/flash-moe-inference/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/flash-moe-inference/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a codex2Вручную: положить файлы
.agents/skills/flash-moe-inference/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a cursor2Вручную: положить файлы
.cursor/skills/flash-moe-inference/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install reason-machines/trending-skills flash-moe-inference2Вручную: положить файлы
.github/skills/flash-moe-inference/SKILL.md1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a gemini-cli2Командой платформы
gemini skills install https://github.com/reason-machines/trending-skills --path skills/flash-moe-inferenceВручную: положить файлы
.devin/skills/flash-moe-inference/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о flash-moe-inference
Как установить flash-moe-inference в Claude Code?
Выполните команду npx skills add reason-machines/trending-skills --skill flash-moe-inference -a claude-code в терминале.
Зачем нужен скилл flash-moe-inference?
Он предоставляет агенту готовые инструкции по сборке C/Metal-движка и конвертации весов для работы архитектуры MoE на компьютерах Apple Silicon.
Чем грозит 2-битное квантование экспертов?
Такая компрессия уменьшает размер каталога с весами со 209 ГБ до 120 ГБ, но приводит к ошибкам при генерации JSON и делает невозможным вызов внешних инструментов.
