# serving-llms-on-instinct

Разворачивает vLLM-эндпоинт на GPU AMD Instinct: определяет железо, проверяет окружение, собирает Docker-команду и запускает модель.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 876 установок · ★ 465
- Автор: amd
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/amd/skills/tree/HEAD/skills/serving-llms-on-instinct/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/serving-llms-on-instinct

## Что делает

Скилл ведёт от пустой машины до работающего эндпоинта. Сначала `scripts/detect.py` возвращает `gfx_version`, объём VRAM, число GPU и версию ROCm, потом `scripts/validate.py --auto-fix` проверяет окружение и чинит мелочи. Если `ready` равно `false`, дальше идти нельзя.

Конфигурация берётся из трёх файлов: `data/recipes_cache.json` с рецептами из vllm-project/recipes, `data/gpu_overrides.json` с флагами Docker и настройками под конкретный gfx, и `data/blacklist.json` со списком моделей, которые эндпоинтом не поднять. Модель по умолчанию — `Qwen/Qwen3.5-9B`. Перед сборкой команды стоит оценить, влезет ли модель в память: `scripts/estimate_vram.py` спрашивает HuggingFace Hub API без скачивания весов.

Заранее нужны драйвер ROCm с `amd-smi`, работающий Docker, устройства `/dev/kfd` и `/dev/dri`. Для моделей с лицензионным гейтом (Llama 3.2, Gemma) в `HF_TOKEN` должен лежать токен аккаунта, который принял лицензию на странице модели — иначе запуск упадёт с невнятным «Engine core initialization failed». Скилл не для NVIDIA, не для потребительских Radeon RX, не для Ryzen AI и NPU, не для MI250X и MI100.

## Требования
- Работает с: Docker

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add amd/skills --skill serving-llms-on-instinct -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/serving-llms-on-instinct/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/serving-llms-on-instinct/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add amd/skills --skill serving-llms-on-instinct -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/serving-llms-on-instinct/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add amd/skills --skill serving-llms-on-instinct -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/serving-llms-on-instinct/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install amd/skills serving-llms-on-instinct
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/serving-llms-on-instinct/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add amd/skills --skill serving-llms-on-instinct -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/amd/skills --path skills/serving-llms-on-instinct
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/serving-llms-on-instinct/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add amd/skills --skill serving-llms-on-instinct -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/amd/skills/tree/HEAD/skills/serving-llms-on-instinct/SKILL.md

## Когда брать
- развернуть vLLM-эндпоинт на MI300X или MI350X
- проверить, влезет ли модель в доступную VRAM
- собрать Docker-команду с нужными флагами и переменными окружения
- отсеять модель, которую нельзя подать как LLM-эндпоинт
- поднять модель на удалённом GPU-хосте по SSH

## Примеры запросов агенту
- запусти Qwen3 на моём MI300X
- разверни DeepSeek на AMD Instinct и проверь здоровье эндпоинта
- посмотри, влезет ли эта модель в память, и подними vLLM на удалённом хосте

## Похожие
- [vllm-server](https://affpapa.org/nevibecode/skills/vllm-server.md) — скилл · 314 установок
- [jetson-llm-serve](https://affpapa.org/nevibecode/skills/jetson-llm-serve.md) — скилл · 1200 установок
- [runpod-usage](https://affpapa.org/nevibecode/skills/runpod-usage.md) — скилл · 12500 установок
- [runpod-templates](https://affpapa.org/nevibecode/skills/runpod-templates.md) — скилл · 10100 установок
- [cuopt-install](https://affpapa.org/nevibecode/skills/cuopt-install.md) — скилл · 2500 установок

Из того же набора: [amd/skills](https://affpapa.org/nevibecode/by/amd/skills.md) — 10 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md