mlflow-trace-metrics — скилл для Claude Code: суть и установка
Скилл mlflow-trace-metrics для Claude Code запрашивает агрегированные метрики трейсов, спанов и оценок MLflow. Показывает задержки, расход токенов и тренды качества за выбранный интервал.
Apache-2.0 174 установок ★ 91 обновлён 2026-10-23
npx skills add mlflow/skills --skill mlflow-trace-metrics -a claude-codeЧто делает mlflow-trace-metrics
Скилл собирает сводные метрики трейсинга из MLflow: количество вызовов, распределение задержек (AVG, P95), сумму токенов и средние оценки качества по моделям. Он нацелен на общую аналитику работы GenAI-приложений, а не на пошаговую отладку отдельных вызовов.
Внутри вызывается скрипт scripts/fetch_metrics.py. Для запроса задают сервер, идентификатор эксперимента, временное окно и агрегацию — например, COUNT для событий или SUM для токенов. Скрипт принимает только протоколы HTTP и HTTPS для открытого MLflow. Профили databricks:// и управляемый Databricks не поддерживаются, а заголовки авторизации утилита не добавляет.
При получении токена next_page_token скрипт не умеет загружать следующие страницы сам и возвращает частичную выборку. Если данных нет, пустой массив не означает нулевой расход: в части трейсов может отсутствовать сбор токенов.
Какие задачи решает
- получить сводку по суммарному расходу токенов за последние сутки
- рассчитать перцентили задержки P95 и среднее время ответа трейсов
- сгруппировать статусы выполнения трейсов по именам шагов
- собрать средние оценки качества из среза ASSESSMENTS
Примеры запросов агенту
- Посчитай сумму total_tokens за последние сутки в эксперименте 12 на сервере <SERVER>
- Выведи среднюю задержку и P95 для трейсов эксперимента 4 за последние 12 часов
- Собери средние оценки качества assessment_value по именам оценок через fetch_metrics.py
Как установить mlflow-trace-metrics
1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill mlflow-trace-metrics -a claude-code2Вручную: положить файлы
~/.claude/skills/mlflow-trace-metrics/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/mlflow-trace-metrics/
1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill mlflow-trace-metrics -a codex2Вручную: положить файлы
.agents/skills/mlflow-trace-metrics/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill mlflow-trace-metrics -a cursor2Вручную: положить файлы
.cursor/skills/mlflow-trace-metrics/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install mlflow/skills mlflow-trace-metrics2Вручную: положить файлы
.github/skills/mlflow-trace-metrics/SKILL.md1Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill mlflow-trace-metrics -a gemini-cli2Командой платформы
gemini skills install https://github.com/mlflow/skills --path mlflow-trace-metricsВручную: положить файлы
.devin/skills/mlflow-trace-metrics/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add mlflow/skills --skill mlflow-trace-metrics -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о mlflow-trace-metrics
Как установить mlflow-trace-metrics в Claude Code?
Выполните команду npx skills add mlflow/skills --skill mlflow-trace-metrics -a claude-code. Файл навыка сохранится по пути ~/.claude/skills/mlflow-trace-metrics/SKILL.md.
Что делает mlflow-trace-metrics?
Навык запрашивает агрегированные показатели трейсов, спанов и оценок MLflow за интервал времени. Его используют для анализа задержек, объёма токенов и ошибок вместо разбора единичных трейсов.
Что нужно для работы mlflow-trace-metrics?
Нужен доступный сервер открытого MLflow по HTTP или HTTPS и Python для запуска scripts/fetch_metrics.py. Управляемый Databricks не поддерживается, а утилита не умеет передавать токены авторизации.
Исходный текст
SKILL.md · Apache-2.0
--- name: mlflow-trace-metrics description: Query aggregate MLflow trace, span and assessment metrics for latency, tokens, counts and quality trends. Use for operational summaries rather than individual-trace diagnosis. --- # Query MLflow metrics Reuse server, experiment IDs and requested window. Select the exact metric, view, aggregation and grouping needed; token counts are not currency cost. ## Prerequisites For aggregate queries, read the [metrics API reference](references/api_reference.md). If the task also needs individual traces, read [trace retrieval](../mlflow-trace-retrieval/SKILL.md) before searching; if unavailable, use the [search guide](https://mlflow.org/docs/latest/genai/tracing/search-traces.md). ## Step 1: Check the client Resolve `scripts/fetch_metrics.py` relative to this skill; use `--help` for flags. The metrics endpoint and helper are not supported for Databricks-managed tracking. For OSS they accept HTTP(S), not `databricks://` profiles, and add no authentication headers. Use an existing supported authenticated client or report the blocker; never convert a Databricks profile to a workspace URL or request pasted tokens. ## Step 2: Choose metrics Select TRACES (default), SPANS or ASSESSMENTS using [the API reference](references/api_reference.md). Use COUNT for entities, SUM for tokens, AVG/P95 for distributions. Do not silently substitute metrics. ## Step 3: Query the time window Query explicit bounds: epoch milliseconds, timezone-qualified ISO timestamps, `now`, or relative values like `-24h`. Buckets are **seconds** and require both bounds. ```bash python <SKILL_DIR>/scripts/fetch_metrics.py -s <SERVER> -x <EXPERIMENT_ID> \ -m total_tokens -a SUM -t 3600 --start-time="-24h" --end-time=now -o json ``` Latency: `-m latency -a AVG,P95 -d trace_name`. Numeric quality: `-v ASSESSMENTS -m assessment_value -a AVG -d assessment_name`. Status counts: `-m trace_count -a COUNT -d trace_status`. Keep the same explicit window. ## Verification Inspect actual `metric_name`, dimensions and values; report exact experiment/window, metric, aggregation, units, filters and coverage. Empty `data_points` is not zero usage; absent token instrumentation can undercount. Quality summaries need per-scorer scales and valid/error/missing denominators: zero/false can be valid, scorer failures are not zero scores, and unrelated scorers should not be averaged. A `next_page_token` means partial results; the helper exposes it but cannot fetch subsequent pages. Use an existing pagination-capable client or disclose incompleteness. Counts by status are not an error rate: derive ERROR / all statuses only with a complete stated denominator. Distinguish request/auth failures from empty results. Aggregates need representative trace evidence for causal diagnosis. ## References [API reference](references/api_reference.md): wire fields, metric/view compatibility and metrics-specific filters.
© mlflow · Apache-2.0 · mlflow/skills