inference-serving-tensorrt-llm — скилл для Claude Code: установка
Скилл помогает развернуть инференс языковых моделей на ускорителях NVIDIA с помощью TensorRT-LLM. Пригодится для настройки FP8-квантования, динамического батчинга и работы на нескольких GPU.
npx claude-code-templates@latest --skill ai-research/inference-serving-tensorrt-llmЧто делает inference-serving-tensorrt-llm
Скилл снабжает Claude Code практическими инструкциями и готовыми шаблонами для ускорения моделей через библиотеку TensorRT-LLM от NVIDIA. Ассистент помогает подготовить окружение, загрузить открытые веса вроде LLaMA 3 или DeepSeek и настроить сервер trtllm-serve для приёма HTTP-запросов.
Внутри собраны рецепты оптимизации: динамический батчинг in-flight batching, пейджинг KV-кэша, квантование в форматы FP8 или INT4 и тензорный параллелизм на 4 либо 8 видеокарт. Для запуска нужны Python от 3.10 до 3.12, CUDA 13.0.0 и установленный TensorRT 10.13.2. Без графических ускорителей NVIDIA развернуть этот стек не получится. Для обычных процессоров или чипов Apple Silicon разработчики советуют выбирать llama.cpp.
Какие задачи решает
- сконфигурировать сервер
trtllm-serveдля отдачи LLaMA 3 по HTTP - настроить тензорный параллелизм для распределения весов на 4 или 8 GPU
- подготовить скрипт генерации с квантованием весов в формат FP8
- включить динамический батчинг in-flight batching для входящих запросов
Примеры запросов агенту
- Напиши конфиг для запуска
trtllm-serveс модельюmeta-llama/Meta-Llama-3-8Bна 4 видеокартах. - Покажи пример скрипта на Python для инференса
Meta-Llama-3-70Bс квантованием FP8 черезtensorrt_llm. - Помоги настроить параметры сэмплирования и размер батча для пакетной обработки ста промптов.
Как установить inference-serving-tensorrt-llm
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/inference-serving-tensorrt-llm2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill inference-serving-tensorrt-llm -a claude-code3Вручную: положить файлы
~/.claude/skills/inference-serving-tensorrt-llm/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/inference-serving-tensorrt-llm/
Вручную: положить файлы
.agents/skills/inference-serving-tensorrt-llm/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/inference-serving-tensorrt-llm/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates inference-serving-tensorrt-llm2Вручную: положить файлы
.github/skills/inference-serving-tensorrt-llm/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/inference-serving-tensorrt-llmВручную: положить файлы
.devin/skills/inference-serving-tensorrt-llm/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о inference-serving-tensorrt-llm
Как установить inference-serving-tensorrt-llm в Claude Code?
Выполните команду npx claude-code-templates@latest --skill ai-research/inference-serving-tensorrt-llm.
Что делает скилл inference-serving-tensorrt-llm?
Он обучает Claude Code архитектуре и командам библиотеки TensorRT-LLM. Это позволяет быстро генерировать код серверного инференса, настраивать параллелизм и применять квантование.
Какие требования нужны для работы со скиллом?
Понадобятся видеокарты NVIDIA уровней A100 или H100, Python от 3.10 до 3.12, CUDA 13.0.0 и TensorRT 10.13.2. Если у вас процессоры без дискретных видеокарт NVIDIA, используйте llama.cpp.
