# flash-moe-inference

Помогает запустить модель Qwen3.5-397B на процессорах Apple Silicon за счёт потоковой загрузки экспертов с SSD. Рассчитан на компьютеры с 48 ГБ объединённой памяти.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1100 установок · ★ 88
- Автор: reason-machines
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/reason-machines/trending-skills/tree/HEAD/skills/flash-moe-inference/SKILL.md
- Обновлён: 2026-10-09
- HTML: https://affpapa.org/nevibecode/skills/flash-moe-inference

## Что делает

Скилл содержит инструкции для компиляции и запуска низкоуровневого движка на чистом C, Objective-C и шейдерах Metal. Модель Qwen3.5-397B целиком не помещается в оперативную память Mac, поэтому система подгружает нужные 209 ГБ весов частями. Для каждого токена считываются только четыре активных эксперта на слой через системные вызовы параллельного чтения с накопителя NVMe. Это даёт темп от 4.4 токенов в секунду без фреймворков машинного обучения.

Кодовая база состоит из файлов `infer.m`, консольного интерфейса `chat.m` и бенчмарка `main.m`. Веса готовятся заранее: скрипты на Python переводят исходный формат safetensors в бинарные файлы и пакуют слои с 4-битным квантованием. Есть вариант сжатия экспертов до 2 бит, который освобождает около 89 ГБ места на диске, но нарушает вывод валидного JSON и ломает вызов инструментов.

Для работы требуется macOS 26 или новее, установленные Xcode Command Line Tools и свободные 210 ГБ на встроенном накопителе. На компьютерах без чипа Apple Silicon уровня M3 Max запустить этот конвейер не получится.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/flash-moe-inference/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/flash-moe-inference/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/flash-moe-inference/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/flash-moe-inference/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install reason-machines/trending-skills flash-moe-inference
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/flash-moe-inference/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/reason-machines/trending-skills --path skills/flash-moe-inference
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/flash-moe-inference/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill flash-moe-inference -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/reason-machines/trending-skills/tree/HEAD/skills/flash-moe-inference/SKILL.md

## Когда брать
- собрать исполняемые файлы движка на Metal и C через утилиту `make`
- сконвертировать веса Qwen3.5-397B из safetensors в бинарные файлы
- запустить консольный чат с поддержкой вызова функций на локальном Mac
- измерить чистую скорость прогона слоёв MoE без учёта механизма внимания

## Примеры запросов агенту
- Собери Flash-MoE через make и проверь наличие бинарников infer и chat
- Помоги распаковать веса модели Qwen3.5 в 4-битный формат для стриминга с SSD
- Запусти инференс команды infer с промптом на 100 токенов

## Похожие
- [skill-creator](https://affpapa.org/nevibecode/skills/skill-creator.md) — скилл · 414180 установок
- [writing-for-agents](https://affpapa.org/nevibecode/skills/writing-for-agents.md) — скилл · 466719 установок
- [media-use](https://affpapa.org/nevibecode/skills/media-use.md) — скилл · 1100000 установок
- [mcp-builder](https://affpapa.org/nevibecode/skills/mcp-builder.md) — скилл · 130949 установок
- [subagent-driven-development](https://affpapa.org/nevibecode/skills/subagent-driven-development.md) — скилл · 237746 установок
- [orchestration](https://affpapa.org/nevibecode/skills/orchestration.md) — скилл · 349800 установок

Из того же набора: [reason-machines/trending-skills](https://affpapa.org/nevibecode/by/reason-machines/trending-skills.md) — 139 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md