emerging-techniques-knowledge-distillation — скилл для Claude Code
Скилл помогает спланировать перенос знаний от большой языковой модели к компактной: разбирает функции потерь, температуру и дистилляцию ответов. Пригодится для обучения student-модели.
npx claude-code-templates@latest --skill ai-research/emerging-techniques-knowledge-distillationЧто делает emerging-techniques-knowledge-distillation
Скилл описывает дистилляцию знаний: teacher-модель передаёт информацию student-модели через мягкие целевые распределения или сгенерированные ответы. В примерах показаны температура, сочетание KL-дивергенции с кросс-энтропией и вариант MiniLLM с reverse KLD. Это материал для настройки обучения, а не готовая команда, которая сама сжимает модель.
Для реализации примеров нужны transformers, torch и datasets; в инструкции также приведены команды установки accelerate, deepspeed и wandb для обучения. Реализация MiniLLM дана как отдельный вариант установки. Без настроенного цикла обучения одних рекомендаций скилла недостаточно, чтобы получить student-модель.
Какие задачи решает
- выбрать функцию потерь для дистилляции
- передать знания teacher-модели компактной student-модели
- обучить student на ответах, сгенерированных teacher
- сравнить обычную и обратную KL-дивергенцию
Примеры запросов агенту
- Подскажи, как передать знания большой teacher-модели компактной student-модели.
- Составь план обучения student-модели на синтетических ответах teacher.
- Объясни, как применить reverse KLD при дистилляции генеративной модели.
Как установить emerging-techniques-knowledge-distillation
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/emerging-techniques-knowledge-distillation2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill emerging-techniques-knowledge-distillation -a claude-code3Вручную: положить файлы
~/.claude/skills/emerging-techniques-knowledge-distillation/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/emerging-techniques-knowledge-distillation/
Вручную: положить файлы
.agents/skills/emerging-techniques-knowledge-distillation/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/emerging-techniques-knowledge-distillation/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates emerging-techniques-knowledge-distillation2Вручную: положить файлы
.github/skills/emerging-techniques-knowledge-distillation/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/emerging-techniques-knowledge-distillationВручную: положить файлы
.devin/skills/emerging-techniques-knowledge-distillation/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о emerging-techniques-knowledge-distillation
Как установить emerging-techniques-knowledge-distillation в Claude Code?
Выполните npx claude-code-templates@latest --skill ai-research/emerging-techniques-knowledge-distillation.
Что делает emerging-techniques-knowledge-distillation?
Скилл объясняет дистилляцию знаний от большой модели к компактной. Он охватывает температурное масштабирование, мягкие целевые распределения, logit- и response-дистилляцию.
Чем reverse KLD отличается от обычной дистилляции?
Скилл описывает reverse KLD как вариант MiniLLM для генеративных моделей. Также в нём приведено обучение на ответах, которые предварительно генерирует teacher.
