# jetson-speculative-decoding

Скилл добавляет спекулятивное декодирование EAGLE-3 или draft-модель к серверу vLLM на Jetson, когда медленно генерируются токены.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1100 установок · ★ 3735
- Автор: Jetson Team
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/jetson-speculative-decoding/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/jetson-speculative-decoding

## Что делает

Скилл правит уже работающий сервер vLLM на Jetson: дописывает `--speculative-config` в команду `vllm serve` из рецепта `jetson-llm-serve`. Маленькая draft-модель предлагает токены, целевая проверяет их за один проход, и время на токен падает.

На Jetson исход решает не качество draft-модели, а запас VRAM. Поэтому скилл разрешает EAGLE-3 только на Thor и AGX Orin, а на Orin Nano и NX запускать не советует: памяти на целевую и draft-модель сразу не хватит, старт упадёт с OOM. Число спекулятивных токенов советует начать с 5 на Thor и 3 на AGX Orin, а `--gpu-memory-utilization` снизить примерно на 0.05 против базовой линии. Смысл есть на одном потоке или низкой конкурентности, до двух запросов; при восьми и выше пакетное декодирование обычно выигрывает, а draft только съедает память.

Перед включением нужна базовая линия из `jetson-llm-benchmark` и совместимая голова EAGLE-3 либо небольшая draft-модель того же семейства. После включения скилл требует прогнать замер при `--concurrency 1` до и после: если прирост меньше 10% или пропускная способность падает на восьми потоках, спекуляцию надо выключить.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill jetson-speculative-decoding -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/jetson-speculative-decoding/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/jetson-speculative-decoding/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill jetson-speculative-decoding -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/jetson-speculative-decoding/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill jetson-speculative-decoding -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/jetson-speculative-decoding/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills jetson-speculative-decoding
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/jetson-speculative-decoding/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill jetson-speculative-decoding -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/jetson-speculative-decoding
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/jetson-speculative-decoding/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill jetson-speculative-decoding -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/jetson-speculative-decoding/SKILL.md

## Когда брать
- ускорить выдачу токенов на сервере vLLM под Jetson, когда TTFT в норме
- подобрать число спекулятивных токенов под Thor или AGX Orin
- проверить, окупает ли draft-модель потраченную память
- освободить VRAM под draft-модель, не сломав запуск сервера
- откатить спекуляцию, если замер показал регресс

## Примеры запросов агенту
- Допиши `--speculative-config` с методом eagle3 в команду `vllm serve` из `jetson-llm-serve` и подбери число спекулятивных токенов под Thor
- Сравни `throughput_tok_s` и `tpot_ms_p50` при `--concurrency 1` до и после включения спекулятивного декодирования
- Старт падает с OOM после включения спекуляции — что снизить в первую очередь?

## Похожие
- [serving-llms-on-epyc](https://affpapa.org/nevibecode/skills/serving-llms-on-epyc.md) — скилл · 817 установок
- [multi-tenant-llm-hosting](https://affpapa.org/nevibecode/skills/multi-tenant-llm-hosting.md) — скилл · 309 установок
- [llm-architect](https://affpapa.org/nevibecode/agents/llm-architect.md) — субагент · 649 установок
- [google-cloud-solution-guided-gke-ai-migration](https://affpapa.org/nevibecode/skills/google-cloud-solution-guided-gke-ai-migration.md) — скилл · 4700 установок
- [quantized-export](https://affpapa.org/nevibecode/skills/quantized-export.md) — скилл · 2600 установок
- [serving-llms-on-instinct](https://affpapa.org/nevibecode/skills/serving-llms-on-instinct.md) — скилл · 876 установок

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md