# emerging-techniques-knowledge-distillation

Скилл помогает спланировать перенос знаний от большой языковой модели к компактной: разбирает функции потерь, температуру и дистилляцию ответов. Пригодится для обучения student-модели.

- скилл · `type=skill` · Claude Code · 106 установок
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/emerging-techniques-knowledge-distillation
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/emerging-techniques-knowledge-distillation

## Что делает

Скилл описывает дистилляцию знаний: teacher-модель передаёт информацию student-модели через мягкие целевые распределения или сгенерированные ответы. В примерах показаны температура, сочетание KL-дивергенции с кросс-энтропией и вариант MiniLLM с reverse KLD. Это материал для настройки обучения, а не готовая команда, которая сама сжимает модель.

Для реализации примеров нужны `transformers`, `torch` и `datasets`; в инструкции также приведены команды установки `accelerate`, `deepspeed` и `wandb` для обучения. Реализация MiniLLM дана как отдельный вариант установки. Без настроенного цикла обучения одних рекомендаций скилла недостаточно, чтобы получить student-модель.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/emerging-techniques-knowledge-distillation
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill emerging-techniques-knowledge-distillation -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/emerging-techniques-knowledge-distillation/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/emerging-techniques-knowledge-distillation/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/emerging-techniques-knowledge-distillation/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/emerging-techniques-knowledge-distillation/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates emerging-techniques-knowledge-distillation
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/emerging-techniques-knowledge-distillation/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/emerging-techniques-knowledge-distillation
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/emerging-techniques-knowledge-distillation/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/emerging-techniques-knowledge-distillation

## Когда брать
- выбрать функцию потерь для дистилляции
- передать знания teacher-модели компактной student-модели
- обучить student на ответах, сгенерированных teacher
- сравнить обычную и обратную KL-дивергенцию

## Примеры запросов агенту
- Подскажи, как передать знания большой teacher-модели компактной student-модели.
- Составь план обучения student-модели на синтетических ответах teacher.
- Объясни, как применить reverse KLD при дистилляции генеративной модели.

## Похожие
- [find-skills](https://affpapa.org/nevibecode/skills/find-skills.md) — скилл · 4000000 установок
- [frontend-design](https://affpapa.org/nevibecode/skills/frontend-design.md) — скилл · 1025790 установок
- [grill-me](https://affpapa.org/nevibecode/skills/grill-me.md) — скилл · 1424476 установок
- [grill-with-docs](https://affpapa.org/nevibecode/skills/grill-with-docs.md) — скилл · 1219756 установок
- [improve-codebase-architecture](https://affpapa.org/nevibecode/skills/improve-codebase-architecture.md) — скилл · 1163035 установок
- [design-taste-frontend](https://affpapa.org/nevibecode/skills/design-taste-frontend.md) — скилл · 678700 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 495 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md