# inference-optimisation

Скилл inference-optimisation для Claude Code ускоряет локальный сервер LLM через измерения, A/B-эксперименты и подбор настроек. Запускается для поиска предела tok/s.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, Windsurf (Devin Desktop), Claude.ai · ★ 1699 у репозитория
- Автор: sybil-solutions
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/sybil-solutions/inference-optimisation-skill/tree/HEAD/skills/inference-optimisation/SKILL.md
- Обновлён: 2026-11-16
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/inference-optimisation

## Что делает

inference-optimisation измеряет базовую скорость локального сервера LLM, считает теоретический предел и меняет по одной настройке за эксперимент. Он сравнивает кандидата с контрольными запусками, ведёт журнал в `PLAN.md` и `ledger.jsonl`, сохраняет конфигурации и обновляет `best-config.json`.

Скилл учитывает decode и prefill, TTFT, время старта, размер KV-кэша, лимит памяти и стабильность полного контекста. В комплекте есть справочники по пределам, методике, рычагам оптимизации и ловушкам движков, а также `scripts/` с бенчмарком, калькулятором потолка, watchdog, очередью и журналом. Без фиксированного окружения, контроля памяти и проверки вывода результат не проходит квалификацию.

Поддерживаются серверы vLLM, SGLang, llama.cpp, ExLlama/TabbyAPI, MLX и TensorRT-LLM на NVIDIA, AMD, Intel или Apple, включая варианты с unified memory и multi-GPU. Принудительная остановка сервера посреди batch может вызвать сбой драйвера GPU.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sybil-solutions/inference-optimisation-skill --skill inference-optimisation -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/inference-optimisation/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/inference-optimisation/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sybil-solutions/inference-optimisation-skill --skill inference-optimisation -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/inference-optimisation/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sybil-solutions/inference-optimisation-skill --skill inference-optimisation -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/inference-optimisation/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install sybil-solutions/inference-optimisation-skill skills/inference-optimisation
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/inference-optimisation/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sybil-solutions/inference-optimisation-skill --skill inference-optimisation -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/sybil-solutions/inference-optimisation-skill --path skills/inference-optimisation
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/inference-optimisation/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/sybil-solutions/inference-optimisation-skill/tree/HEAD/skills/inference-optimisation/SKILL.md

## Когда брать
- найти максимум tok/s для локального сервера модели
- сравнить decode и prefill на одной машине
- подобрать speculative decoding и KV-кэш под лимит памяти
- проверить стабильность модели на полном контексте
- подготовить и опубликовать настроенный рецепт запуска

## Примеры запросов агенту
- Оптимизируй сервер модели и найди максимальный tok/s на этой машине.
- Сравни несколько настроек speculative decoding с контрольными запусками.
- Подготовь и опубликуй настроенный рецепт для этого сервера.

## Похожие
- [gke-inference](https://affpapa.org/nevibecode/skills/gke-inference.md) — скилл · 6791 установка
- [extension-inference](https://affpapa.org/nevibecode/skills/extension-inference.md) — скилл · 16000 установок
- [tao-run-inference-service](https://affpapa.org/nevibecode/skills/tao-run-inference-service.md) — скилл · 1600 установок
- [jetson-inference-mem-tune](https://affpapa.org/nevibecode/skills/jetson-inference-mem-tune.md) — скилл · 1200 установок
- [ai-inference-service-mesh](https://affpapa.org/nevibecode/skills/ai-inference-service-mesh.md) — скилл · 344 установки
- [agent-platform-inference](https://affpapa.org/nevibecode/skills/agent-platform-inference.md) — скилл · 8138 установок

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
