# tao-run-inference-service

Скилл развёртывает микросервис инференса моделей NVIDIA TAO в контейнере и останавливает его. Пригодится для работы с контрольными точками и отправки запросов к эндпоинту.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1600 установок · ★ 3735
- Автор: NVIDIA Corporation
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/NVIDIA/skills/tree/HEAD/skills/tao-run-inference-service/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/tao-run-inference-service

## Что делает

Агент использует этот скилл для управления микросервисами инференса NVIDIA TAO. Скилл сопоставляет архитектуру сети с нужным образом контейнера через конфигурационные файлы и шаблоны. Далее он формирует JSON с описанием задачи и передаёт запуск контейнера платформенному навыку. Поддерживаются среды `local-docker` или `kubernetes`.

Здесь действует строгое правило безопасности. Секреты нельзя передавать открытым текстом в диалог. Переменные вроде `HF_TOKEN` считываются исключительно из системного окружения. Облачные хранилища S3 или GCS не поддерживаются вовсе. Чекпоинты берутся только из HuggingFace Hub или локального каталога контейнера, поэтому попытка передать ссылку на бакет приведёт к ошибке.

Скилл также регистрирует запущенный микросервис и проверяет его готовность. При отправке запроса агент уточняет параметры сэмплирования у пользователя. По умолчанию выделяется 1 GPU.

## Требования
- Работает с: Docker

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-run-inference-service -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/tao-run-inference-service/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/tao-run-inference-service/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-run-inference-service -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/tao-run-inference-service/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-run-inference-service -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/tao-run-inference-service/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install NVIDIA/skills tao-run-inference-service
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/tao-run-inference-service/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-run-inference-service -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/NVIDIA/skills --path skills/tao-run-inference-service
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/tao-run-inference-service/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add NVIDIA/skills --skill tao-run-inference-service -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/NVIDIA/skills/tree/HEAD/skills/tao-run-inference-service/SKILL.md

## Когда брать
- развернуть микросервис инференса для контрольной точки TAO
- сформировать JSON-пейлоуд контейнера и разрешить образ
- отправить запрос к активному эндпоинту с параметрами сэмплирования
- остановить работающий контейнер через реестр сервисов

## Примеры запросов агенту
- Запусти инференс-сервис для модели cosmos-rl на платформе local-docker.
- Отправь запрос на инференс к активному сервису для модели hf_model://nvidia/model.
- Останови работающий контейнер инференс-микросервиса.

## Похожие
- [ai-inference-service-mesh](https://affpapa.org/nevibecode/skills/ai-inference-service-mesh.md) — скилл · 310 установок
- [vllm-server](https://affpapa.org/nevibecode/skills/vllm-server.md) — скилл · 314 установок
- [docker-agent-run](https://affpapa.org/nevibecode/skills/docker-agent-run.md) — скилл · 746 установок
- [gke-inference](https://affpapa.org/nevibecode/skills/gke-inference.md) — скилл · 6791 установка
- [debug-inference](https://affpapa.org/nevibecode/skills/debug-inference.md) — скилл · 446 установок
- [debug-openshell-cluster](https://affpapa.org/nevibecode/skills/debug-openshell-cluster.md) — скилл · 474 установки

Из того же набора: [nvidia/skills](https://affpapa.org/nevibecode/by/nvidia/skills.md) — 178 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md