dflash-mlx-speculative-decoding — скилл для Claude Code
Ускоряет генерацию в MLX на чипах Apple Silicon в 1.7–4.1 раза без потери качества за счёт спекулятивного декодирования DFlash.
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a claude-codeЧто делает dflash-mlx-speculative-decoding
Скилл учит агента настраивать спекулятивное декодирование DFlash для локальных моделей в среде MLX. Небольшая черновая модель генерирует блок из 16 токенов параллельно через блочную диффузию. Затем целевая модель проверяет все 16 позиций за один проход. В итоговый текст попадают только подтверждённые токены, поэтому результат в точности равен жадному сэмплированию целевой модели.
В репозитории есть готовые связки для линеек Qwen3.5 на 4B, 9B, 27B и 35B. Черновые чекпоинты берутся из реестра автоматически. Инструмент содержит CLI-утилиту dflash, сервер dflash-serve с API формата OpenAI на порту 8000 и бенчмарк dflash-benchmark.
Для запуска обязательны процессор Apple Silicon, Python 3.10+ и MLX 0.31.1+. Если модели нет в официальном реестре пар, утилита откажется стартовать без явного указания флага --draft.
Какие задачи решает
- ускорить генерацию токенов в локальной MLX
- развернуть OpenAI-совместимый сервер инференса на порту 8000
- провести замер скорости через dflash-benchmark
- настроить спекулятивное декодирование для моделей Qwen3.5
Примеры запросов агенту
- Подними локальный сервер dflash-serve для Qwen/Qwen3.5-9B на порту 8000
- Запусти dflash-benchmark для модели Qwen/Qwen3.5-9B с лимитом в 1024 токена
- Напиши скрипт на Python с DFlashRuntime для потоковой генерации ответа
Как установить dflash-mlx-speculative-decoding
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a claude-code2Вручную: положить файлы
~/.claude/skills/dflash-mlx-speculative-decoding/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/dflash-mlx-speculative-decoding/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a codex2Вручную: положить файлы
.agents/skills/dflash-mlx-speculative-decoding/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a cursor2Вручную: положить файлы
.cursor/skills/dflash-mlx-speculative-decoding/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install reason-machines/trending-skills dflash-mlx-speculative-decoding2Вручную: положить файлы
.github/skills/dflash-mlx-speculative-decoding/SKILL.md1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a gemini-cli2Командой платформы
gemini skills install https://github.com/reason-machines/trending-skills --path skills/dflash-mlx-speculative-decodingВручную: положить файлы
.devin/skills/dflash-mlx-speculative-decoding/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о dflash-mlx-speculative-decoding
Как установить dflash-mlx-speculative-decoding в Claude Code?
Выполните команду npx skills add reason-machines/trending-skills --skill dflash-mlx-speculative-decoding -a claude-code. Скилл появится по пути ~/.claude/skills/dflash-mlx-speculative-decoding/SKILL.md.
Что делает dflash-mlx-speculative-decoding?
Скилл передаёт агенту инструкции по настройке DFlash для ускорения инференса MLX на Apple Silicon. Черновая модель готовит блок из 16 токенов, а основная проверяет их за один проход.
Какие требования нужны для работы DFlash?
Нужен компьютер Mac с чипом Apple Silicon, Python версии 3.10 или новее и библиотека MLX от 0.31.1. Базовый пакет ставится командой pip install dflash-mlx.
