# quantizing-models-bitsandbytes

Скилл помогает квантовать LLM в 8-бит и 4-бит через bitsandbytes, сокращая расход памяти GPU на 50–75%. Пригодится, когда нужно уместить тяжеловесную модель в видеопамять.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 966 установок · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/10-optimization/bitsandbytes/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/quantizing-models-bitsandbytes

## Что делает

Скилл даёт готовые алгоритмы и шаблоны для интеграции библиотеки bitsandbytes с экосистемой HuggingFace. Внутри разобран расчёт VRAM под разные веса, выбор формата вроде INT8 или NF4 с вложенным квантованием, а также параметры `BitsAndBytesConfig`. Потеря точности при сжатии остаётся ниже 1%.

Для дообучения предложен пайплайн QLoRA через `peft`. В этом сценарии исходная модель замораживается в 4-бит, а обучаются адаптеры размером около 20 МБ. Также описан переход на оптимизаторы вроде `paged_adamw_8bit` и `AdamW8bit`, что урезает память под состояния оптимизатора на 75%.

Код требует наличия Python-пакетов `bitsandbytes`, `transformers`, `accelerate` и `torch` в рабочей среде, иначе загрузка конфигураций завершится ошибкой импорта.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill quantizing-models-bitsandbytes -a claude-code
```
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bitsandbytes -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/bitsandbytes/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/bitsandbytes/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bitsandbytes -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/bitsandbytes/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bitsandbytes -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/bitsandbytes/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs bitsandbytes
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/bitsandbytes/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bitsandbytes -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 10-optimization/bitsandbytes
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/bitsandbytes/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bitsandbytes -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/10-optimization/bitsandbytes/SKILL.md

## Когда брать
- сократить потребление памяти LLM на 50–75% через форматы INT8 и NF4
- рассчитать требования к видеопамяти под модели разного размера
- запустить дообучение языковой модели через QLoRA с адаптерами PEFT
- снизить расход VRAM на состояния оптимизатора с помощью paged_adamw_8bit

## Примеры запросов агенту
- Настрой загрузку модели Llama 2 в 4-бит через BitsAndBytesConfig с типом nf4
- Покажи расчёт VRAM для 13B модели и подготовь конфиг для 8-битного инференса
- Настрой обучение с QLoRA и 8-битным оптимизатором AdamW

## Похожие
- [huggingface-local-models](https://affpapa.org/nevibecode/skills/huggingface-local-models.md) — скилл · 1900 установок
- [AgentDB Performance Optimization](https://affpapa.org/nevibecode/skills/agentdb-performance-optimization.md) — скилл · 1100 установок
- [vision-sft](https://affpapa.org/nevibecode/skills/vision-sft.md) — скилл · 2600 установок
- [lora-qlora-recipes](https://affpapa.org/nevibecode/skills/lora-qlora-recipes.md) — скилл · 2600 установок
- [llm-fine-tuning](https://affpapa.org/nevibecode/skills/llm-fine-tuning.md) — скилл · 318 установок
- [quark-torch-llm-ptq](https://affpapa.org/nevibecode/skills/quark-torch-llm-ptq.md) — скилл · 524 установки

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md