# turboquant-pytorch

Инструкции и код для сжатия KV-кэша языковых моделей до 2–4 бит через двухэтапное квантование. Помогает экономить видеопамять без потери точности внимания.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 817 установок · ★ 88
- Автор: reason-machines
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/reason-machines/trending-skills/tree/HEAD/skills/turboquant-pytorch/SKILL.md
- Обновлён: 2026-10-09
- HTML: https://affpapa.org/nevibecode/skills/turboquant-pytorch

## Что делает

Скилл даёт шаблоны реализации алгоритма TurboQuant на базе PyTorch. Метод сжимает кэш ключей и значений трансформеров за счёт случайных ортогональных вращений, квантователя Ллойда — Макса и однобитной коррекции остатков QJL. Главный расчёт строится вокруг сохранения скалярных произведений для скоринга внимания, а не точной формы исходных векторов.

Внутри описаны готовые классы вроде `TurboQuantProd` и `TurboQuantCompressorV2`, позволяющие вычислять несимметричные скоры внимания напрямую по сжатым ключам. На тесте Qwen2.5-3B с контекстом 8K режим 3-bit уменьшает размер буфера с 289 МБ до 58 МБ.

Для расчёта кодовых книг требуется библиотека `scipy`, а для запуска валидации на реальных моделях видеокарте нужно от 6 ГБ VRAM.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/turboquant-pytorch/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/turboquant-pytorch/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/turboquant-pytorch/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/turboquant-pytorch/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install reason-machines/trending-skills turboquant-pytorch
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/turboquant-pytorch/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/reason-machines/trending-skills --path skills/turboquant-pytorch
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/turboquant-pytorch/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add reason-machines/trending-skills --skill turboquant-pytorch -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/reason-machines/trending-skills/tree/HEAD/skills/turboquant-pytorch/SKILL.md

## Когда брать
- Сжать KV-кэш LLM до 3 бит для экономии VRAM
- Построить оптимальную кодовую книгу через квантователь Ллойда — Макса
- Вычислить скоры внимания напрямую по квантованным ключам
- Внедрить несмещённую оценку скалярных произведений через проекцию QJL

## Примеры запросов агенту
- Напиши код сжатия KV-кэша для слоя трансформера через TurboQuantCompressorV2 на 3 бита
- Покажи, как собрать кодовую книгу Ллойда — Макса для размерности вектора 128 с помощью turboquant
- Реализуй расчёт внимания сжатого кэша без полной деквантизации ключей

## Похожие
- [deep-learning-pytorch](https://affpapa.org/nevibecode/skills/deep-learning-pytorch.md) — скилл · 1800 установок
- [quark-torch-llm-ptq](https://affpapa.org/nevibecode/skills/quark-torch-llm-ptq.md) — скилл · 526 установок
- [pytorch-patterns](https://affpapa.org/nevibecode/skills/pytorch-patterns.md) — скилл · 4800 установок
- [pytorch-lightning](https://affpapa.org/nevibecode/skills/k-dense-ai-pytorch-lightning.md) — скилл · 2000 установок
- [pytorch-fsdp2](https://affpapa.org/nevibecode/skills/pytorch-fsdp2.md) — скилл · 958 установок
- [pytorch](https://affpapa.org/nevibecode/skills/pytorch.md) — скилл · 839 установок

Из того же набора: [reason-machines/trending-skills](https://affpapa.org/nevibecode/by/reason-machines/trending-skills.md) — 186 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md