# dflash-mlx-speculative-decoding

Ускоряет генерацию в MLX на чипах Apple Silicon в 1.7–4.1 раза без потери качества за счёт спекулятивного декодирования DFlash.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 443 установки · ★ 88
- Автор: reason-machines
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/reason-machines/trending-skills/tree/HEAD/skills/dflash-mlx-speculative-decoding/SKILL.md
- Обновлён: 2026-10-09
- HTML: https://affpapa.org/nevibecode/skills/dflash-mlx-speculative-decoding

## Что делает

Скилл учит агента настраивать спекулятивное декодирование DFlash для локальных моделей в среде MLX. Небольшая черновая модель генерирует блок из 16 токенов параллельно через блочную диффузию. Затем целевая модель проверяет все 16 позиций за один проход. В итоговый текст попадают только подтверждённые токены, поэтому результат в точности равен жадному сэмплированию целевой модели.

В репозитории есть готовые связки для линеек Qwen3.5 на 4B, 9B, 27B и 35B. Черновые чекпоинты берутся из реестра автоматически. Инструмент содержит CLI-утилиту `dflash`, сервер `dflash-serve` с API формата OpenAI на порту 8000 и бенчмарк `dflash-benchmark`.

Для запуска обязательны процессор Apple Silicon, Python 3.10+ и MLX 0.31.1+. Если модели нет в официальном реестре пар, утилита откажется стартовать без явного указания флага `--draft`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/dflash-mlx-speculative-decoding/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/dflash-mlx-speculative-decoding/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/dflash-mlx-speculative-decoding/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/dflash-mlx-speculative-decoding/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install reason-machines/trending-skills dflash-mlx-speculative-decoding
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/dflash-mlx-speculative-decoding/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/reason-machines/trending-skills --path skills/dflash-mlx-speculative-decoding
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/dflash-mlx-speculative-decoding/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/reason-machines/trending-skills/tree/HEAD/skills/dflash-mlx-speculative-decoding/SKILL.md

## Когда брать
- ускорить генерацию токенов в локальной MLX
- развернуть OpenAI-совместимый сервер инференса на порту 8000
- провести замер скорости через dflash-benchmark
- настроить спекулятивное декодирование для моделей Qwen3.5

## Примеры запросов агенту
- Подними локальный сервер dflash-serve для Qwen/Qwen3.5-9B на порту 8000
- Запусти dflash-benchmark для модели Qwen/Qwen3.5-9B с лимитом в 1024 токена
- Напиши скрипт на Python с DFlashRuntime для потоковой генерации ответа

## Похожие
- [jetson-speculative-decoding](https://affpapa.org/nevibecode/skills/jetson-speculative-decoding.md) — скилл · 1100 установок
- [emerging-techniques-speculative-decoding](https://affpapa.org/nevibecode/skills/emerging-techniques-speculative-decoding.md) — скилл · 59 установок
- [speak-tts](https://affpapa.org/nevibecode/skills/speak-tts.md) — скилл · 735 установок
- [mac-mini-llm-lab](https://affpapa.org/nevibecode/skills/mac-mini-llm-lab.md) — скилл · 309 установок
- [qianwen-model-selector](https://affpapa.org/nevibecode/skills/qianwen-model-selector.md) — скилл · 5500 установок
- [qwencloud-text](https://affpapa.org/nevibecode/skills/qwencloud-text.md) — скилл · 1600 установок

Из того же набора: [reason-machines/trending-skills](https://affpapa.org/nevibecode/by/reason-machines/trending-skills.md) — 186 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md