# awq-quantization

Скилл для 4-битной квантизации весов LLM по методу AWQ: ускоряет инференс и снижает расход памяти GPU.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 958 установок · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/10-optimization/awq/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/awq-quantization

## Что делает

Скилл объясняет, как сжать модель до 4 бит через AWQ — активационно-зависимую квантизацию весов. Метод защищает примерно 1% значимых весов, которые определяются по паттернам активаций, поэтому ошибка квантизации падает без mixed-precision. Заявленное ускорение — около 2.5–3x против FP16 при потере точности меньше 5%.

Внутри — рецепты для `autoawq` и `transformers`: загрузка уже сжатых моделей, квантизация своей модели, конфиги GEMM, GEMV и Marlin, интеграция с vLLM. Для квантизации нужны Python 3.8+, CUDA 11.8+ и Compute Capability 7.5+. Marlin-ядра требуют 8.0+ — на старых GPU этот путь не заработает. Калибровка занимает примерно 10–15 минут для 7B и около часа для 70B.

Есть сравнение с GPTQ и bitsandbytes: у AWQ выше скорость и ниже потеря точности, но экосистема беднее. Если вам нужна максимальная совместимость инструментов или работа с ExLlamaV2, скилл сам советует смотреть в сторону GPTQ. Fused-модули не сочетаются с FlashAttention2 — это повод проверить конфиг перед запуском.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq-quantization -a claude-code
```
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/awq/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/awq/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/awq/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/awq/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs awq
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/awq/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 10-optimization/awq
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/awq/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill awq -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/10-optimization/awq/SKILL.md

## Когда брать
- сжать модель 7B–70B до 4 бит и уместить на одну GPU
- ускорить инференс инструктивных и мультимодальных моделей
- сравнить AWQ, GPTQ и bitsandbytes по скорости и точности
- подобрать ядро под железо: GEMM, GEMV или Marlin
- подготовить калибровочные данные под свой домен

## Примеры запросов агенту
- Помоги квантизировать mistralai/Mistral-7B-Instruct-v0.2 в 4 бита через AWQ
- Какой kernel backend выбрать для A100 — Marlin или GEMM?
- Загрузи модель TheBloke/Mistral-7B-Instruct-v0.2-AWQ и запусти генерацию

## Похожие
- [AgentDB Performance Optimization](https://affpapa.org/nevibecode/skills/agentdb-performance-optimization.md) — скилл · 1100 установок
- [vector-index-tuning](https://affpapa.org/nevibecode/skills/vector-index-tuning.md) — скилл · 10700 установок
- [quantized-export](https://affpapa.org/nevibecode/skills/quantized-export.md) — скилл · 2600 установок
- [huggingface-local-models](https://affpapa.org/nevibecode/skills/huggingface-local-models.md) — скилл · 1900 установок
- [tao-run-automl](https://affpapa.org/nevibecode/skills/tao-run-automl.md) — скилл · 1600 установок
- [quark-torch-llm-ptq](https://affpapa.org/nevibecode/skills/quark-torch-llm-ptq.md) — скилл · 524 установки

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md