# emerging-techniques-speculative-decoding

Скилл по спекулятивному декодированию: подсказывает агенту, как ускорить генерацию токенов в 1.5–3.6 раза без потери качества.

- скилл · `type=skill` · Claude Code · 59 установок
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/emerging-techniques-speculative-decoding
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/emerging-techniques-speculative-decoding

## Что делает

Скилл описывает три подхода к ускорению вывода языковых моделей: спекулятивное декодирование с черновой моделью, Medusa с несколькими предсказывающими головами и Lookahead Decoding на итерации Якоби. Агент получает готовые примеры кода на Python: загрузка target- и draft-модели через `transformers`, вызов `medusa_generate` с порогами `posterior_threshold` и `posterior_alpha`, инициализация `LookaheadDecoding` с параметрами `window_size`, `ngram_size` и `guess_size`.

Внутри — разбор алгоритма: черновая модель предлагает K токенов, целевая проверяет их одним прямым проходом и принимает совпавшие. Для Medusa показано дерево кандидатов и разница между Medusa-1 (обучаются только головы) и Medusa-2 (дообучается и базовая модель). Lookahead Decoding переформулирует авторегрессию как систему уравнений и решает её параллельно.

Скиллу нужны `transformers` и `torch`, а для вариантов Medusa и Lookahead — установка соответствующих репозиториев через `pip install -e .`. Без этих зависимостей примеры не запустятся.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/emerging-techniques-speculative-decoding
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill emerging-techniques-speculative-decoding -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/emerging-techniques-speculative-decoding/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/emerging-techniques-speculative-decoding/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/emerging-techniques-speculative-decoding/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/emerging-techniques-speculative-decoding/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates emerging-techniques-speculative-decoding
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/emerging-techniques-speculative-decoding/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/emerging-techniques-speculative-decoding
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/emerging-techniques-speculative-decoding/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/emerging-techniques-speculative-decoding

## Когда брать
- ускорить генерацию токенов без переобучения модели
- снизить задержку чат-бота или генератора кода
- выбрать между черновой моделью, Medusa и Lookahead
- запустить вывод на ограниченном железе
- разобраться, как целевая модель проверяет кандидатов параллельно

## Примеры запросов агенту
- Покажи, как подключить черновую модель к `generate` через `assistant_model`
- Сравни Medusa-1 и Medusa-2 по скорости и качеству
- Настрой `LookaheadDecoding` с `window_size=15` и `ngram_size=5`

## Похожие
- [jetson-speculative-decoding](https://affpapa.org/nevibecode/skills/jetson-speculative-decoding.md) — скилл · 1100 установок
- [dflash-mlx-speculative-decoding](https://affpapa.org/nevibecode/skills/dflash-mlx-speculative-decoding.md) — скилл · 443 установки
- [anti-reversing-techniques](https://affpapa.org/nevibecode/skills/anti-reversing-techniques.md) — скилл · 10900 установок
- [building-with-medusa](https://affpapa.org/nevibecode/skills/building-with-medusa.md) — скилл · 4600 установок
- [storefront-best-practices](https://affpapa.org/nevibecode/skills/storefront-best-practices.md) — скилл · 4600 установок
- [waf-bypass-techniques](https://affpapa.org/nevibecode/skills/waf-bypass-techniques.md) — скилл · 3800 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 361 карточка

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md