emerging-techniques-speculative-decoding — скилл для Claude Code

Что делает emerging-techniques-speculative-decoding

Скилл описывает три подхода к ускорению вывода языковых моделей: спекулятивное декодирование с черновой моделью, Medusa с несколькими предсказывающими головами и Lookahead Decoding на итерации Якоби. Агент получает готовые примеры кода на Python: загрузка target- и draft-модели через transformers, вызов medusa_generate с порогами posterior_threshold и posterior_alpha, инициализация LookaheadDecoding с параметрами window_size, ngram_size и guess_size.

Внутри — разбор алгоритма: черновая модель предлагает K токенов, целевая проверяет их одним прямым проходом и принимает совпавшие. Для Medusa показано дерево кандидатов и разница между Medusa-1 (обучаются только головы) и Medusa-2 (дообучается и базовая модель). Lookahead Decoding переформулирует авторегрессию как систему уравнений и решает её параллельно.

Скиллу нужны transformers и torch, а для вариантов Medusa и Lookahead — установка соответствующих репозиториев через pip install -e .. Без этих зависимостей примеры не запустятся.