# metrillm

Замеряет скорость и качество локальных моделей из Ollama или LM Studio и выдаёт вердикт, потянет ли их ваше железо. Работает из любого MCP-клиента.

- MCP-сервер · `type=mcp` · Claude Code, Codex, Cursor, GitHub Copilot, Windsurf (Devin Desktop), Cline, Zed, Gemini CLI · ★ 8
- Автор: MetriLLM
- Лицензия: Apache-2.0 · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/MetriLLM/metrillm/tree/HEAD/mcp
- Обновлён: 2026-06-02
- HTML: https://affpapa.org/nevibecode/mcp/metrillm

## Что делает

Сервер даёт агенту четыре инструмента для локальных LLM. `list_models` показывает установленные модели, `run_benchmark` прогоняет выбранную на скорость и качество. Прошлые прогоны хранятся локально, их возвращает `get_results`. Если качество не нужно, передайте `perfOnly: true`, и замерится только производительность. В ответе будут вердикт, общий балл, токены в секунду, время до первого токена и занятая память.

Четвёртый инструмент, `share_result`, берёт абсолютный путь к JSON с результатом и загружает его в публичный лидерборд MetriLLM. Данные уходят с вашей машины, поэтому вызывайте его осознанно. Для своего или тестового развёртывания адреса меняются переменными `METRILLM_SUPABASE_URL`, `METRILLM_SUPABASE_ANON_KEY` и `METRILLM_PUBLIC_RESULT_BASE_URL`.

Нужен Node.js 20 или новее, запущенный Ollama (`ollama serve`) или LM Studio с включённым Local Server и хотя бы одна модель. Параметр `runtime` по умолчанию равен `ollama`. MLX, llama.cpp и vLLM пока только в планах.

## Требования
- Нужно: Node.js (команды через npx)

## Установка

### Claude Code (родная платформа)

**Командой платформы**
```bash
claude mcp add metrillm -- npx -y metrillm-mcp
```

### Codex

**Командой платформы**
```bash
codex mcp add mcp -- npx -y metrillm-mcp
```

### Cursor

**Файл настроек**
Файл `.cursor/mcp.json`:
```json
{
    "mcpServers": {
        "mcp": {
            "command": "npx",
            "args": [
                "-y",
                "metrillm-mcp"
            ]
        }
    }
}
```

### GitHub Copilot

**Файл настроек**
Файл `.vscode/mcp.json`:
```json
{
    "servers": {
        "mcp": {
            "type": "stdio",
            "command": "npx",
            "args": [
                "-y",
                "metrillm-mcp"
            ]
        }
    }
}
```

### Gemini CLI

**Командой платформы**
```bash
gemini mcp add mcp npx -y metrillm-mcp
```

## Когда брать
- замерить токены в секунду у модели из Ollama
- понять, хватает ли железа под конкретную локальную модель
- сравнить скорость моделей без прогона тестов качества
- вспомнить результаты прошлых замеров
- выложить свой результат в публичный лидерборд

## Примеры запросов агенту
- Покажи через metrillm, какие модели есть в Ollama
- Прогони бенчмарк `run_benchmark` для `llama3.2:3b`
- Замерь в metrillm только скорость `llama3.2:3b`, качество пропусти

## Похожие
- [MCP Toolbox for Databases](https://affpapa.org/nevibecode/mcp/googleapis-mcp-toolbox-for-databases.md) — MCP-сервер · ★ 16717
- [labelhead-artist-momentum](https://affpapa.org/nevibecode/mcp/labelhead-artist-momentum.md) — MCP-сервер · ★ 107423
- [Agent Skills Search Server](https://affpapa.org/nevibecode/mcp/agent-skills-search-server.md) — MCP-сервер · ★ 26559
- [Skyvern](https://affpapa.org/nevibecode/mcp/skyvern.md) — MCP-сервер · ★ 23263
- [Nhost](https://affpapa.org/nevibecode/mcp/nhost.md) — MCP-сервер · ★ 9366
- [PraisonAI](https://affpapa.org/nevibecode/mcp/praisonai.md) — MCP-сервер · ★ 9289

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md