inference-serving-vllm — скилл для Claude Code: запуск LLM через vLLM

Что делает inference-serving-vllm

Скилл описывает работу с vLLM — библиотекой для обслуживания больших языковых моделей. Внутри три сценария: развёртывание продакшен-API, офлайн-обработка больших наборов промптов и запуск квантованных моделей, когда видеопамяти мало. Для каждого шага даны команды vllm serve с флагами памяти, длины контекста и порта.

Отдельно разобраны квантизация GPTQ, AWQ и FP8, тензорный параллелизм для моделей на несколько GPU и метрики Prometheus на порту 9090. Есть чек-листы: настроить сервер, прогнать нагрузочный тест, включить мониторинг, выкатить в прод. В разделе про проблемы — что делать при нехватке памяти.

Скилл опирается на пакеты vllm, torch и transformers, их нужно поставить заранее. Для тензорного параллелизма и квантизации нужны подходящие GPU: без нескольких карт флаг --tensor-parallel-size не даст того, ради чего его ставят. Часть текста посвящена сравнению с llama.cpp, TensorRT-LLM и обычными transformers — это помогает выбрать инструмент, а не тянуть vLLM везде.