emerging-techniques-model-merging — скилл для Claude Code

Что делает emerging-techniques-model-merging

Скилл описывает слияние нескольких fine-tuned моделей в одну с помощью mergekit. Задача типовая: есть отдельные модели под математику, код и чат, а нужна одна, которая умеет всё сразу. Переобучение тут не требуется, потому что веса просто комбинируются.

Внутри разобраны методы: linear (усреднение весов), SLERP для двух моделей, Task Arithmetic с извлечением task-векторов, TIES-Merging со снятием конфликтов знаков и DARE с прореживанием дельт. Для каждого дан пример конфигурации в YAML и параметры вроде weight, density, t.

Для работы нужны mergekit, transformers и torch. Ставить mergekit можно из репозитория arcee-ai или через pip install mergekit. Слияние идёт на CPU, видеокарта не обязательна, поэтому эксперименты с вариантами дешевле обычного дообучения.