querying-mlflow-metrics — скилл для Claude Code: метрики MLflow
Скилл тянет агрегированные метрики трейсов из MLflow: расход токенов, задержки, число трейсов и оценки качества. Пригодится, когда нужно посмотреть статистику эксперимента прямо из чата.
npx skills add mlflow/skills --skill querying-mlflow-metrics -a claude-codeЧто делает querying-mlflow-metrics
Внутри скилла лежит скрипт scripts/fetch_metrics.py. Он обращается к MLflow tracking server и возвращает агрегаты по эксперименту: SUM, AVG, MIN, MAX, P50, P95, P99 или COUNT. Метрики — trace_count, latency, input_tokens, output_tokens, total_tokens.
Можно группировать результат по trace_name или trace_status, а для метрик SPANS добавить -v SPANS. Разбивка по времени задаётся через -t в секундах: 3600 — час, 86400 — сутки. Интервалы --start-time и --end-time принимают -24h, -7d, now, ISO 8601 или epoch ms. Вывод по умолчанию таблицей, -o json переключает на JSON.
Обязательные аргументы — -s с адресом сервера, -x с ID экспериментов и -m с метрикой. Без них скрипт не запустится, так что сначала проверьте, что сервер отвечает и ID верные. Оценки качества живут в отдельной ветке: для них нужен -v ASSESSMENTS и метрики assessment_value или assessment_count.
Для синтаксиса фильтров есть references/api_reference.md.
Какие задачи решает
- посмотреть суммарный расход токенов по эксперименту
- построить почасовой тренд токенов за последние сутки
- вытащить перцентили задержки в разрезе трейсов
- посчитать долю ошибок по статусам трейсов
- сравнить средние оценки качества по эвалуаторам
Примеры запросов агенту
- покажи суммарный расход токенов по эксперименту 1
- построй почасовой тренд total_tokens за последние 24 часа
- выведи P95 задержки по trace_name в JSON
Как установить querying-mlflow-metrics
1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill querying-mlflow-metrics -a claude-code2Вручную: положить файлы
~/.claude/skills/querying-mlflow-metrics/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/querying-mlflow-metrics/
1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill querying-mlflow-metrics -a codex2Вручную: положить файлы
.agents/skills/querying-mlflow-metrics/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill querying-mlflow-metrics -a cursor2Вручную: положить файлы
.cursor/skills/querying-mlflow-metrics/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install mlflow/skills querying-mlflow-metrics2Вручную: положить файлы
.github/skills/querying-mlflow-metrics/SKILL.md1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill querying-mlflow-metrics -a gemini-cli2Командой платформы
gemini skills install https://github.com/mlflow/skills --path querying-mlflow-metricsВручную: положить файлы
.devin/skills/querying-mlflow-metrics/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill querying-mlflow-metrics -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Из того же набора8
Похожие
Рядом в теме «ИИ и ML»
Всё по теме «ИИ и ML» →Вопросы о querying-mlflow-metrics
Как установить querying-mlflow-metrics в Claude?
Выполните npx skills add mlflow/skills --skill querying-mlflow-metrics -a claude-code. После этого файл скилла появится по пути ~/.claude/skills/querying-mlflow-metrics/SKILL.md.
Что делает querying-mlflow-metrics?
Запрашивает агрегированные метрики трейсов с MLflow tracking server: расход токенов, задержки, количество трейсов и оценки качества. Работает через скрипт scripts/fetch_metrics.py.
Какие аргументы обязательны для скрипта?
Адрес сервера -s, ID экспериментов -x и метрика -m. Остальное — агрегации, группировка, интервалы времени и формат вывода — задаётся по необходимости.
Исходный текст
SKILL.md · Apache-2.0
---
name: querying-mlflow-metrics
description: Fetches aggregated trace metrics (token usage, latency, trace counts, quality evaluations) from MLflow tracking servers. Triggers on requests to show metrics, analyze token usage, view LLM costs, check usage trends, or query trace statistics.
---
# MLflow Metrics
Run `scripts/fetch_metrics.py` to query metrics from an MLflow tracking server.
## Examples
**Token usage summary:**
```bash
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM,AVG
```
Output: `AVG: 223.91 SUM: 7613`
**Hourly token trend (last 24h):**
```bash
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m total_tokens -a SUM \
-t 3600 --start-time="-24h" --end-time=now
```
Output: Time-bucketed token sums per hour
**Latency percentiles by trace:**
```bash
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m latency -a AVG,P95 -d trace_name
```
**Error rate by status:**
```bash
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -m trace_count -a COUNT -d trace_status
```
**Quality scores by evaluator (assessments):**
```bash
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS \
-m assessment_value -a AVG,P50 -d assessment_name
```
Output: Average and median scores for each evaluator (e.g., correctness, relevance)
**Assessment count by name:**
```bash
python scripts/fetch_metrics.py -s http://localhost:5000 -x 1 -v ASSESSMENTS \
-m assessment_count -a COUNT -d assessment_name
```
**JSON output:** Add `-o json` to any command.
## Arguments
| Arg | Required | Description |
|-----|----------|-------------|
| `-s, --server` | Yes | MLflow server URL |
| `-x, --experiment-ids` | Yes | Experiment IDs (comma-separated) |
| `-m, --metric` | Yes | `trace_count`, `latency`, `input_tokens`, `output_tokens`, `total_tokens` |
| `-a, --aggregations` | Yes | `COUNT`, `SUM`, `AVG`, `MIN`, `MAX`, `P50`, `P95`, `P99` |
| `-d, --dimensions` | No | Group by: `trace_name`, `trace_status` |
| `-t, --time-interval` | No | Bucket size in seconds (3600=hourly, 86400=daily) |
| `--start-time` | No | `-24h`, `-7d`, `now`, ISO 8601, or epoch ms |
| `--end-time` | No | Same formats as start-time |
| `-o, --output` | No | `table` (default) or `json` |
For SPANS metrics (`span_count`, `latency`), add `-v SPANS`.
For ASSESSMENTS metrics, add `-v ASSESSMENTS`.
See [references/api_reference.md](references/api_reference.md) for filter syntax and full API details.
© mlflow · Apache-2.0 · mlflow/skills
