fine-tuning-peft — скилл для Claude Code: LoRA и QLoRA для LLM

Что делает fine-tuning-peft

Скилл объясняет и показывает, как дообучить модель на 7B–70B, обновляя меньше 1% весов. В основе — библиотека PEFT от HuggingFace, которая работает вместе с transformers. Адаптер весит мегабайты, а не гигабайты, поэтому хранить несколько вариантов под разные задачи дешевле, чем копии всей модели.

Внутри — готовые примеры кода: обычный LoRA с LoraConfig, QLoRA с 4-битной квантизацией через BitsAndBytesConfig, загрузка и слияние адаптеров, подбор ранга и lora_alpha, списки целевых модулей для Llama, Mistral, Qwen, GPT-2, Falcon и BLOOM. Есть таблица с рангами от 4 до 64 и совет начать с 8 или 16.

Понадобятся peft>=0.13.0, transformers>=4.45.0, torch>=2.0.0 и bitsandbytes>=0.43.0 — без последнего квантизация не заработает. QLoRA рассчитана на одну видеокарту с 24 ГБ, но за это платят примерно 5% качества по сравнению с полным дообучением. Для моделей меньше 1B и при большом сдвиге домена авторы советуют полное дообучение.