# tao-finetune-clip

Скилл для обучения CLIP, zero-shot классификации, извлечения эмбеддингов и экспорта в ONNX и TensorRT через NVIDIA TAO.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1600 установок · ★ 3735
- Автор: NVIDIA Corporation
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/tao-finetune-clip/SKILL.md
- Обновлён: 2026-10-26
- HTML: https://affpapa.org/nevibecode/skills/tao-finetune-clip

## Что делает

Скилл ведёт агента через пять действий CLIP в NVIDIA TAO: `train`, `evaluate`, `inference`, `export` и `gen_trt_engine`. Для каждого он подсказывает образ, команду и шаблон спеки из своей папки `references/`, а параметры датасета и путей выносит в `spec_overrides`. Дообучение подгоняет общее пространство эмбеддингов картинок и подписей под ваши данные.

Валидация на размеченных парах считается по метрике `val/t2i_mAP`, для PAS-разметки — по `val/pas/overall_mAP`. По умолчанию скилл включает AutoML и отправляет обучение в `tao-skill-bank:tao-run-automl`; прямой запуск остаётся, если вы попросите обычное обучение без HPO или если в пакете нет схемы.

Нужны Docker и nvidia-container-toolkit. Проверьте это до первого запуска: без них контейнер не стартует. Ещё одна ловушка — `inference.checkpoint: null`: `clip inference` не подхватит предобученные веса, а упадёт на загрузке чекпоинта. Для PyTorch-действий с чекпоинтом из доверенного задания выставляйте `TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1`, иначе PyTorch 2.6 не прочитает метаданные Lightning.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-finetune-clip -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/tao-finetune-clip/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/tao-finetune-clip/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-finetune-clip -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/tao-finetune-clip/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-finetune-clip -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/tao-finetune-clip/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills tao-finetune-clip
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/tao-finetune-clip/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-finetune-clip -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/tao-finetune-clip
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/tao-finetune-clip/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-finetune-clip -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/tao-finetune-clip/SKILL.md

## Когда брать
- дообучить CLIP на своих парах картинка-подпись
- посчитать zero-shot классификацию без переобучения модели
- вытащить эмбеддинги изображений для поиска
- собрать TensorRT-движок из экспортированного ONNX
- оценить retrieval-качество по `val/t2i_mAP`

## Примеры запросов агенту
- Запусти обучение CLIP на папке с картинками и подписями, укажи пути в `spec_overrides`
- Экспортируй дообученный чекпоинт CLIP в ONNX, потом собери TensorRT-движок
- Посчитай zero-shot классификацию на моём наборе промптов и выведи метрики

## Похожие
- [clip](https://affpapa.org/nevibecode/skills/clip.md) — скилл · 957 установок
- [llava](https://affpapa.org/nevibecode/skills/llava.md) — скилл · 940 установок
- [opus-clip](https://affpapa.org/nevibecode/skills/opus-clip.md) — скилл · 593 установки
- [vision-sft](https://affpapa.org/nevibecode/skills/vision-sft.md) — скилл · 2600 установок
- [scikit-learn](https://affpapa.org/nevibecode/skills/k-dense-ai-scikit-learn.md) — скилл · 2200 установок
- [langgraph-decision-models](https://affpapa.org/nevibecode/skills/langgraph-decision-models.md) — скилл · 1600 установок

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md