# sglang

Скилл учит агента разворачивать SGLang, настраивать кэширование префиксов RadixAttention и запускать генерацию по JSON-схемам и регулярным выражениям.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 954 установки · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/12-inference-serving/sglang/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/sglang

## Что делает

Скилл добавляет в рабочий процесс инструкции по инференсу через фреймворк SGLang. Ассистент подсказывает команды запуска сервера с тензорным параллелизмом через аргумент `--tp` и помогает подключать модели Llama. Технология RadixAttention строит дерево токенов в памяти и автоматически переиспользует KV-кэш для повторяющихся системных промптов без ручной настройки.

Внутри собраны шаблоны функций `@sgl.function` для структурированного вывода по JSON-схемам, регулярным выражениям и грамматикам Python. Для запуска сервера понадобятся установленные пакеты `sglang`, `torch` и `transformers`. Ускорить вычисления на CUDA помогает пакет FlashInfer.

Если проекту не нужны структурированный вывод и кэширование префиксов, авторы советуют предпочесть vLLM. По информации разработчиков, инфраструктура на базе SGLang обслуживает свыше 300 000 GPU в xAI, AMD, NVIDIA и LinkedIn.

## Требования
- Работает с: LinkedIn

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill sglang -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/sglang/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/sglang/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill sglang -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/sglang/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill sglang -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/sglang/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs sglang
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/sglang/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill sglang -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 12-inference-serving/sglang
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/sglang/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill sglang -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/12-inference-serving/sglang/SKILL.md

## Когда брать
- настроить запуск сервера инференса SGLang с тензорным параллелизмом
- ограничить генерацию ответов строгой схемой JSON или регулярным выражением
- ускорить повторные запросы агентов за счёт кэширования префиксов в RadixAttention
- подключить вызов функций к пайплайнам генерации через SGLang

## Примеры запросов агенту
- Покажи, как запустить сервер SGLang для Meta-Llama-3-70B-Instruct на 4 GPU
- Напиши функцию `@sgl.function` для извлечения данных в формате JSON по схеме
- Как настроить вызов функций в агенте с кэшированием системного промпта через RadixAttention?

## Похожие
- [jetson-llm-serve](https://affpapa.org/nevibecode/skills/jetson-llm-serve.md) — скилл · 1200 установок
- [hyperloom-workload-optimizer](https://affpapa.org/nevibecode/skills/hyperloom-workload-optimizer.md) — скилл · 783 установки
- [dynamo-recipe-runner](https://affpapa.org/nevibecode/skills/dynamo-recipe-runner.md) — скилл · 2300 установок
- [langgraph](https://affpapa.org/nevibecode/skills/langgraph.md) — скилл · 257 установок
- [video-ad-specs](https://affpapa.org/nevibecode/skills/video-ad-specs.md) — скилл · 55500 установок
- [investigate-without-getting-made](https://affpapa.org/nevibecode/skills/investigate-without-getting-made.md) — скилл · 58200 установок

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md