К основному содержанию
скилл CX Codex

mlflow-trace-metrics — скилл для Claude Code: суть и установка

Скилл mlflow-trace-metrics для Claude Code запрашивает агрегированные метрики трейсов, спанов и оценок MLflow. Показывает задержки, расход токенов и тренды качества за выбранный интервал.

Apache-2.0 174 установок ★ 91 обновлён 2026-10-23

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add mlflow/skills --skill mlflow-trace-metrics -a claude-code
Открыть на GitHub

Что делает mlflow-trace-metrics

Скилл собирает сводные метрики трейсинга из MLflow: количество вызовов, распределение задержек (AVG, P95), сумму токенов и средние оценки качества по моделям. Он нацелен на общую аналитику работы GenAI-приложений, а не на пошаговую отладку отдельных вызовов.

Внутри вызывается скрипт scripts/fetch_metrics.py. Для запроса задают сервер, идентификатор эксперимента, временное окно и агрегацию — например, COUNT для событий или SUM для токенов. Скрипт принимает только протоколы HTTP и HTTPS для открытого MLflow. Профили databricks:// и управляемый Databricks не поддерживаются, а заголовки авторизации утилита не добавляет.

При получении токена next_page_token скрипт не умеет загружать следующие страницы сам и возвращает частичную выборку. Если данных нет, пустой массив не означает нулевой расход: в части трейсов может отсутствовать сбор токенов.

Какие задачи решает

  • получить сводку по суммарному расходу токенов за последние сутки
  • рассчитать перцентили задержки P95 и среднее время ответа трейсов
  • сгруппировать статусы выполнения трейсов по именам шагов
  • собрать средние оценки качества из среза ASSESSMENTS

Примеры запросов агенту

  • Посчитай сумму total_tokens за последние сутки в эксперименте 12 на сервере <SERVER>
  • Выведи среднюю задержку и P95 для трейсов эксперимента 4 за последние 12 часов
  • Собери средние оценки качества assessment_value по именам оценок через fetch_metrics.py

Как установить mlflow-trace-metrics

1Через Skills CLI (Vercel)

npx skills add mlflow/skills --skill mlflow-trace-metrics -a claude-code

2Вручную: положить файлы

~/.claude/skills/mlflow-trace-metrics/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/mlflow-trace-metrics/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о mlflow-trace-metrics

Как установить mlflow-trace-metrics в Claude Code?

Выполните команду npx skills add mlflow/skills --skill mlflow-trace-metrics -a claude-code. Файл навыка сохранится по пути ~/.claude/skills/mlflow-trace-metrics/SKILL.md.

Что делает mlflow-trace-metrics?

Навык запрашивает агрегированные показатели трейсов, спанов и оценок MLflow за интервал времени. Его используют для анализа задержек, объёма токенов и ошибок вместо разбора единичных трейсов.

Что нужно для работы mlflow-trace-metrics?

Нужен доступный сервер открытого MLflow по HTTP или HTTPS и Python для запуска scripts/fetch_metrics.py. Управляемый Databricks не поддерживается, а утилита не умеет передавать токены авторизации.

Исходный текст

SKILL.md · Apache-2.0
---
name: mlflow-trace-metrics
description: Query aggregate MLflow trace, span and assessment metrics for latency, tokens, counts and quality trends. Use for operational summaries rather than individual-trace diagnosis.
---

# Query MLflow metrics

Reuse server, experiment IDs and requested window. Select the exact metric, view, aggregation and grouping needed; token counts are not currency cost.

## Prerequisites

For aggregate queries, read the [metrics API reference](references/api_reference.md). If the task also needs individual traces, read [trace retrieval](../mlflow-trace-retrieval/SKILL.md) before searching; if unavailable, use the [search guide](https://mlflow.org/docs/latest/genai/tracing/search-traces.md).

## Step 1: Check the client

Resolve `scripts/fetch_metrics.py` relative to this skill; use `--help` for flags. The metrics endpoint and helper are not supported for Databricks-managed tracking. For OSS they accept HTTP(S), not `databricks://` profiles, and add no authentication headers. Use an existing supported authenticated client or report the blocker; never convert a Databricks profile to a workspace URL or request pasted tokens.

## Step 2: Choose metrics

Select TRACES (default), SPANS or ASSESSMENTS using [the API reference](references/api_reference.md). Use COUNT for entities, SUM for tokens, AVG/P95 for distributions. Do not silently substitute metrics.

## Step 3: Query the time window

Query explicit bounds: epoch milliseconds, timezone-qualified ISO timestamps, `now`, or relative values like `-24h`. Buckets are **seconds** and require both bounds.

```bash
python <SKILL_DIR>/scripts/fetch_metrics.py -s <SERVER> -x <EXPERIMENT_ID> \
  -m total_tokens -a SUM -t 3600 --start-time="-24h" --end-time=now -o json
```

Latency: `-m latency -a AVG,P95 -d trace_name`. Numeric quality: `-v ASSESSMENTS -m assessment_value -a AVG -d assessment_name`. Status counts: `-m trace_count -a COUNT -d trace_status`. Keep the same explicit window.

## Verification

Inspect actual `metric_name`, dimensions and values; report exact experiment/window, metric, aggregation, units, filters and coverage. Empty `data_points` is not zero usage; absent token instrumentation can undercount. Quality summaries need per-scorer scales and valid/error/missing denominators: zero/false can be valid, scorer failures are not zero scores, and unrelated scorers should not be averaged.

A `next_page_token` means partial results; the helper exposes it but cannot fetch subsequent pages. Use an existing pagination-capable client or disclose incompleteness. Counts by status are not an error rate: derive ERROR / all statuses only with a complete stated denominator. Distinguish request/auth failures from empty results. Aggregates need representative trace evidence for causal diagnosis.

## References

[API reference](references/api_reference.md): wire fields, metric/view compatibility and metrics-specific filters.

© mlflow · Apache-2.0 · mlflow/skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
databricks-mlflow-evaluation databricks Скилл databricks-mlflow-evaluation для запуска mlflow.genai.evaluate(), проектирования скорёров и датасетов, настройки судей через MemAlign и мониторинга качества в проде. CX Codex +1 355установок custom-metrics launchdarkly Скилл custom-metrics управляет кастомными бизнес-метриками в LaunchDarkly: создание через MCP-сервер, отправка событий через AI SDK и привязка к вариациям промптов. CX Codex +1 1 900установок built-in-metrics launchdarkly Скилл built-in-metrics для Claude Code оборачивает вызовы ИИ-провайдера в LaunchDarkly и собирает длительность, токены и статус успеха или ошибки. Показывает метрики работающего агента. CX Codex +1 1 900установок mlops-mlflow Orchestra Research Скилл mlops-mlflow учит Claude работать с MLflow: логировать параметры и метрики, вести реестр моделей и воспроизводить запуски. CX Codex +1 64установок saas-metrics-coach Abbas Mir Скилл saas-metrics-coach для Claude Code считает финансовые метрики SaaS и сравнивает их с отраслевыми ориентирами. Срабатывает на данных о выручке, клиентах или запросах про ARR, MRR и отток. CX Codex +1 674установок agent-observability-trace-rca datadog-labs Скилл agent-observability-trace-rca для Claude Code и других платформ: идёт по дереву спанов продакшн-трейсов от симптома к корню сбоя LLM-приложения. Разбирает падение оценок и рантайм-ошибки. CX Codex +1 688установок

Из того же набора17

Весь набор →
mlflow-agent Маршрутизирует задачи по MLflow к нужному скиллу: от трассировки и оценки до разбора сбоев агента. Подходит для запросов без выбранного сценария. CX Codex +1 882установок sagemaker-mlflow Скилл sagemaker-mlflow подключает агента к SageMaker Managed MLflow по ARN ресурса (mlflow-app или mlflow-tracking-server), после чего передаёт управление другим MLflow-скиллам через MLFLOW_TRACKING_URI. CX Codex +1 394установок fix-agent-issue Скилл fix-agent-issue ведёт агента по циклу EXPLORE → PLAN → IMPLEMENT → VERIFY, чтобы правка поведения опиралась на трейс и тест, а не на догадку. CX Codex +1 376установок build-a-scorer Скилл build-a-scorer помогает спроектировать и внедрить набор судей и скореров MLflow для RAG или LLM-агента. Выделяет атомарные критерии качества и выбирает самую дешёвую надёжную проверку. CX Codex +1 339установок mlflow-evaluation Скилл mlflow-evaluation для Claude Code настраивает оценщиков MLflow и запускает оценку GenAI на агенте, наборе данных, готовых результатах или трассировках. Проверяет качество ответов и разбирает результаты запусков. CX Codex +1 184установок mlflow-trace-analysis Скилл mlflow-trace-analysis для Claude Code разбирает MLflow-трейсы и объясняет сбои агентов, ошибки и проблемы качества. Запускается для анализа отдельных трасс и многотуровых диалогов. CX Codex +1 178установок mlflow-trace-retrieval Скилл mlflow-trace-retrieval для Claude Code извлекает трассы MLflow по ID или ищет их по заданным фильтрам. Запускается для поиска трасс по эксперименту, запуску, пользователю, времени или другим полям. CX Codex +1 174установок mlflow Добавляет в Claude Code сценарии для трейсинга, отладки и оценки GenAI-приложений через MLflow. Пригодится при настройке LLMOps в проекте. ★ 91звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой