metrillm — MCP-сервер для Claude Code: что делает и как установить
Замеряет скорость и качество локальных моделей из Ollama или LM Studio и выдаёт вердикт, потянет ли их ваше железо. Работает из любого MCP-клиента.
claude mcp add metrillm -- npx -y metrillm-mcpЧто делает metrillm
Сервер даёт агенту четыре инструмента для локальных LLM. list_models показывает установленные модели, run_benchmark прогоняет выбранную на скорость и качество. Прошлые прогоны хранятся локально, их возвращает get_results. Если качество не нужно, передайте perfOnly: true, и замерится только производительность. В ответе будут вердикт, общий балл, токены в секунду, время до первого токена и занятая память.
Четвёртый инструмент, share_result, берёт абсолютный путь к JSON с результатом и загружает его в публичный лидерборд MetriLLM. Данные уходят с вашей машины, поэтому вызывайте его осознанно. Для своего или тестового развёртывания адреса меняются переменными METRILLM_SUPABASE_URL, METRILLM_SUPABASE_ANON_KEY и METRILLM_PUBLIC_RESULT_BASE_URL.
Нужен Node.js 20 или новее, запущенный Ollama (ollama serve) или LM Studio с включённым Local Server и хотя бы одна модель. Параметр runtime по умолчанию равен ollama. MLX, llama.cpp и vLLM пока только в планах.
Какие задачи решает
- замерить токены в секунду у модели из Ollama
- понять, хватает ли железа под конкретную локальную модель
- сравнить скорость моделей без прогона тестов качества
- вспомнить результаты прошлых замеров
- выложить свой результат в публичный лидерборд
Примеры запросов агенту
- Покажи через metrillm, какие модели есть в Ollama
- Прогони бенчмарк
run_benchmarkдляllama3.2:3b - Замерь в metrillm только скорость
llama3.2:3b, качество пропусти
Как установить metrillm
Командой платформы
claude mcp add metrillm -- npx -y metrillm-mcpКомандой платформы
codex mcp add mcp -- npx -y metrillm-mcpФайл настроек
{
"mcpServers": {
"mcp": {
"command": "npx",
"args": [
"-y",
"metrillm-mcp"
]
}
}
}Файл настроек
{
"servers": {
"mcp": {
"type": "stdio",
"command": "npx",
"args": [
"-y",
"metrillm-mcp"
]
}
}
}Командой платформы
gemini mcp add mcp npx -y metrillm-mcpПо шагам, с командами для каждой платформы: Как подключить MCP-сервер: Claude Code, Codex, Cursor, VS Code, Gemini CLI и другие
Вопросы о metrillm
Как установить metrillm в Claude Code?
Выполните claude mcp add metrillm -- npx -y metrillm-mcp. Для работы нужен Node.js 20 или новее.
Что делает metrillm?
Запускает бенчмарк локальной модели в Ollama или LM Studio и возвращает вердикт, общий балл, скорость в токенах в секунду и расход памяти. Ещё показывает список моделей и прошлые результаты.
С какими рантаймами работает metrillm?
С Ollama и LM Studio. MLX, llama.cpp и vLLM только запланированы. В Ollama должен работать ollama serve, в LM Studio должен быть включён Local Server.
