turboquant-pytorch — скилл для Claude Code
Инструкции и код для сжатия KV-кэша языковых моделей до 2–4 бит через двухэтапное квантование. Помогает экономить видеопамять без потери точности внимания.
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a claude-codeЧто делает turboquant-pytorch
Скилл даёт шаблоны реализации алгоритма TurboQuant на базе PyTorch. Метод сжимает кэш ключей и значений трансформеров за счёт случайных ортогональных вращений, квантователя Ллойда — Макса и однобитной коррекции остатков QJL. Главный расчёт строится вокруг сохранения скалярных произведений для скоринга внимания, а не точной формы исходных векторов.
Внутри описаны готовые классы вроде TurboQuantProd и TurboQuantCompressorV2, позволяющие вычислять несимметричные скоры внимания напрямую по сжатым ключам. На тесте Qwen2.5-3B с контекстом 8K режим 3-bit уменьшает размер буфера с 289 МБ до 58 МБ.
Для расчёта кодовых книг требуется библиотека scipy, а для запуска валидации на реальных моделях видеокарте нужно от 6 ГБ VRAM.
Какие задачи решает
- Сжать KV-кэш LLM до 3 бит для экономии VRAM
- Построить оптимальную кодовую книгу через квантователь Ллойда — Макса
- Вычислить скоры внимания напрямую по квантованным ключам
- Внедрить несмещённую оценку скалярных произведений через проекцию QJL
Примеры запросов агенту
- Напиши код сжатия KV-кэша для слоя трансформера через TurboQuantCompressorV2 на 3 бита
- Покажи, как собрать кодовую книгу Ллойда — Макса для размерности вектора 128 с помощью turboquant
- Реализуй расчёт внимания сжатого кэша без полной деквантизации ключей
Как установить turboquant-pytorch
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a claude-code2Вручную: положить файлы
~/.claude/skills/turboquant-pytorch/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/turboquant-pytorch/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a codex2Вручную: положить файлы
.agents/skills/turboquant-pytorch/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a cursor2Вручную: положить файлы
.cursor/skills/turboquant-pytorch/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install reason-machines/trending-skills turboquant-pytorch2Вручную: положить файлы
.github/skills/turboquant-pytorch/SKILL.md1Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a gemini-cli2Командой платформы
gemini skills install https://github.com/reason-machines/trending-skills --path skills/turboquant-pytorchВручную: положить файлы
.devin/skills/turboquant-pytorch/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о turboquant-pytorch
Как установить turboquant-pytorch в Claude Code?
Выполните команду npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a claude-code. После этого скилл добавится в окружение.
Что делает скилл turboquant-pytorch?
Он предоставляет архитектуру и код PyTorch для сжатия кэша ключей и значений в LLM до 2–4 бит. Алгоритм держит точность скалярных произведений за счёт ортогональных поворотов и QJL-коррекции.
Какое железо и зависимости нужны для работы?
Для алгоритмических тестов понадобятся torch>=2.0 и scipy. Проверка на нейросети Qwen2.5-3B требует видеокарту CUDA с объёмом памяти от 6 ГБ, а также пакеты transformers, accelerate и bitsandbytes.
