benchmark-vllm-model — скилл для Claude Code: цена токена на vLLM
Считает стоимость токена и запроса для модели на vLLM: поднимает сервер на GPU, гоняет нагрузку и делит цену железа на замеренную пропускную способность.
npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a claude-codeЧто делает benchmark-vllm-model
Скилл нужен, когда надо понять, во сколько обойдётся своя модель вместо чужого API. Он разворачивает модель в контейнере Chalk на GPU, доводит её до насыщения, проверяет, что узкое место — именно карта, и только потом делит цену часа аренды на измеренную пропускную способность. Порядок шагов тут важен: число без проверки насыщения ничего не доказывает.
Внутри — scripts/bench.py, который перебирает длину промпта и число одновременных запросов, а пропускную способность берёт из счётчиков Prometheus самого vLLM. Замер идёт на длинном окне, а не по фиксированному числу запросов, иначе результат съедает джиттер. Нагрузку советуют гонять изнутри кластера и сверять с замером через публичный webUrl: если числа совпали, вход не мешает.
Перед запуском нужен HF_TOKEN в окружении, а GPU-пул должен быть помечен chalk.ai/workload-type=compute — на пуле без метки под просто не запланируется. Для Turing (T4) нет нативного bf16, там ставят --dtype float16. Цену за час скилл велит брать из биллингового каталога GCP, а не с сайтов-агрегаторов: ускоритель часто идёт отдельной позицией, и без неё стоимость узла занижается.
Какие задачи решает
- посчитать стоимость миллиона токенов для своей модели
- выяснить, сколько GPU нужно под нагрузку
- сравнить экономику своей модели с платным API
- проверить, упирается ли сервер в карту или в клиента
- подобрать флаги vLLM под свой профиль запросов
Примеры запросов агенту
- Прогони бенчмарк vLLM для этой модели и посчитай $/1M токенов
- Сколько будет стоить держать эту модель на одной L4?
- Сравни цену своей модели с hosted API по стоимости запроса
Как установить benchmark-vllm-model
1Через Skills CLI (Vercel)
npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a claude-code2Вручную: положить файлы
~/.claude/skills/benchmark-vllm-model/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/benchmark-vllm-model/
1Через Skills CLI (Vercel)
npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a codex2Вручную: положить файлы
.agents/skills/benchmark-vllm-model/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a cursor2Вручную: положить файлы
.cursor/skills/benchmark-vllm-model/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install chalk-ai/chalk-ai-plugins benchmark-vllm-model2Вручную: положить файлы
.github/skills/benchmark-vllm-model/SKILL.md1Через Skills CLI (Vercel)
npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a gemini-cli2Командой платформы
gemini skills install https://github.com/chalk-ai/chalk-ai-plugins --path plugins/chalk-benchmark-model/skills/benchmark-vllm-modelВручную: положить файлы
.devin/skills/benchmark-vllm-model/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о benchmark-vllm-model
Как установить benchmark-vllm-model в Claude Code?
Выполните npx skills add chalk-ai/chalk-ai-plugins --skill benchmark-vllm-model -a claude-code. Скилл встанет в ~/.claude/skills/benchmark-vllm-model/SKILL.md.
Что делает benchmark-vllm-model?
Поднимает модель на vLLM в контейнере Chalk, замеряет пропускную способность под нагрузкой и считает стоимость токена и запроса по цене железа за час.
Почему нельзя взять цену за час с сайта-агрегатора?
Ускоритель часто billed отдельной позицией, и агрегаторы её пропускают — итоговая цена узла выходит заниженной. Скилл берёт ставки из биллингового каталога GCP.
