К основному содержанию
скилл CX Codex

mlflow-agent — скилл для Claude Code: диспетчер задач MLflow

Разбирает запрос по MLflow и сам вызывает нужный под-скилл: трассировку, оценку, отладку или поиск по докам. Пригодится, когда не хочется помнить имена под-скиллов.

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add mlflow/skills --skill mlflow-agent -a claude-code
Открыть на GitHub

Что делает mlflow-agent

Скилл работает как диспетчер. Он читает формулировку задачи и решает, какой под-скилл запустить: инструментирование через instrumenting-with-mlflow-tracing, разбор падения агента через debug-agent, правку поведения через fix-agent-issue, оценку через agent-evaluation. Дальше вызывает его инструментом Skill.

Сам он работу не делает — это прописано в правилах. Уточняющий вопрос допускается только один, потом идёт передача. Если просят и оценить, и трассировать, сначала запускается трассировка, затем оценка. Запрос на отладку уже инструментированного агента обратно в настройку трассировки не уходит.

Внутри — таблица соответствий «задача → под-скилл»: отладка трейса, разбор чат-сессии, поиск трейсов, метрики и расходы, старт работы, вопросы по докам и API. Скилл помечен disable-model-invocation: true, поэтому вызывается явно. Ставить его в одиночку мало смысла: без под-скиллов из того же репозитория диспетчеру некуда передавать задачу.

Какие задачи решает

  • выбрать нужный под-скилл MLflow под конкретную задачу
  • начать трассировку агента без ручного поиска инструкций
  • разобрать, почему агент упал или отвечает неправильно
  • посчитать метрики и расходы по трейсам
  • найти ответ по API MLflow в документации

Примеры запросов агенту

  • добавь mlflow в мой проект
  • оцени мой агент и покажи метрики
  • разбери, почему мой агент падает на этом запросе

Как установить mlflow-agent

1Через Skills CLI (Vercel)

npx skills add mlflow/skills --skill mlflow-agent -a claude-code

2Вручную: положить файлы

~/.claude/skills/mlflow-agent/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/mlflow-agent/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Из того же набора8

mlflow-onboarding Скилл определяет, что у вас за проект — GenAI или классический ML, — и ведёт по нужному квикстарту MLflow. Пригодится, когда надо подключить трекинг или трейсинг, а с чего начать непонятно. CX Codex +1 1 100установок searching-mlflow-docs Скилл находит официальную документацию MLflow по трейсингу и GenAI через индекс llms.txt и забирает чистые примеры кода. CX Codex +1 1 000установок agent-evaluation Скилл для системной оценки LLM-агентов через MLflow: датасеты, скореры, трейсинг. Пригодится, когда агент ошибается с выбором инструментов или даёт неполные ответы. CX Codex +1 1 100установок analyzing-mlflow-trace Скилл разбирает один трейс MLflow по его ID: находит ошибки, объясняет поведение и указывает, где именно всё сломалось. CX Codex +1 1 000установок analyzing-mlflow-session Разбирает сессию MLflow — цепочку трейсов одного многоходового чата. Пригодится, когда диалог с агентом сломался и надо найти, на каком ходу. CX Codex +1 960установок querying-mlflow-metrics Скилл тянет агрегированные метрики трейсов из MLflow: расход токенов, задержки, число трейсов и оценки качества. Пригодится, когда нужно посмотреть статистику эксперимента прямо из чата. CX Codex +1 953установок fix-agent-issue Скилл ведёт агента по циклу EXPLORE → PLAN → IMPLEMENT → VERIFY, чтобы правка поведения опиралась на трейс и тест, а не на догадку. CX Codex +1 365установок

Похожие

langfuse langfuse Помогает настроить трейсинг, оценку и промпты в Langfuse прямо из чата с агентом. Пригодится при отладке вызовов моделей и сборе датасетов. CX Codex +1 19 800установок phoenix-observability Orchestra Research Скилл подключает Phoenix — открытую платформу наблюдаемости, чтобы разбирать трейсы LLM-приложений, гонять оценки на датасетах и следить за продом. CX Codex +1 941установок arize-ax официальный Arize AI Плагин добавляет навыки Arize AX для трассировки, оценки и настройки LLM-приложений. Пригодится для анализа traces, экспериментов и prompt optimization. ★ 40 418звёзд репо repo-intake-and-plan lllllllama Сканирует репозиторий по README, собирает команды и предлагает минимальный план воспроизведения. Нужен до запуска экспериментов. CX Codex +1 476 200установок prompt-engineer https://github.com/Jeffallan Скилл пишет, переписывает и проверяет промпты для LLM: собирает шаблоны, схемы JSON, рубрики оценки и тестовые наборы. Пригодится, когда ответы модели плавают и непонятно почему. CX Codex +1 5 600установок ai-evals RefoundAI Помогает выстроить оценку качества ИИ-продукта: найти сбои, собрать эталонный набор и выбрать проверки. Нужен при работе с LLM, RAG и агентными сценариями. CX Codex +1 2 100установок

Рядом в теме «ИИ и ML»

Всё по теме «ИИ и ML» →

Вопросы о mlflow-agent

Как установить mlflow-agent в Claude?

Выполните npx skills add mlflow/skills --skill mlflow-agent -a claude-code. Файл скилла появится по пути ~/.claude/skills/mlflow-agent/SKILL.md.

Что делает mlflow-agent?

Определяет тип задачи по MLflow и передаёт её профильному под-скиллу: трассировка, оценка, отладка агента, анализ трейса или чат-сессии, метрики, документация. Своей работы он не выполняет.

Можно поставить только mlflow-agent?

Он маршрутизирует запросы к под-скиллам из репозитория mlflow/skills, поэтому без них диспетчеру некуда передавать задачу.

Исходный текст

SKILL.md · Apache-2.0
---
name: mlflow-agent
description: >
  Master dispatcher for all MLflow workflows. Use this skill when the user wants to do
  anything with MLflow — tracing, evaluating, debugging, or improving an agent.
  Routes to the right MLflow sub-skill automatically.
  Triggers on: "use mlflow", "help with mlflow", "mlflow agent", "add mlflow to my project",
  "trace my agent", "evaluate my agent", or any MLflow task without a specific skill in mind.
disable-model-invocation: true
---

# MLflow Agent

Master dispatcher for MLflow workflows. Reads user intent and invokes the right sub-skill.

## Step 1: Identify the workflow

Use the user's request to choose the relevant skill. Ask at most one clarifying question
if the intent is unclear.

## Step 2: Dispatch

- Tracing / instrumentation → `instrumenting-with-mlflow-tracing`
- Debug or explain an agent failure → `debug-agent`
- Fix or change an agent's behavior → `fix-agent-issue`
- Evaluation / scoring → `agent-evaluation`
- Debug a trace → `analyze-mlflow-trace`
- Debug a chat session → `analyze-mlflow-chat-session`
- Search traces → `retrieving-mlflow-traces`
- Metrics / costs → `querying-mlflow-metrics`
- Getting started → `mlflow-onboarding`
- Docs / API questions → `searching-mlflow-docs`

Invoke the matched skill using the Skill tool.

## Key Rules

- Never do the work yourself — always dispatch to the appropriate sub-skill
- One clarifying question maximum before dispatching
- If the user says "evaluate AND trace", dispatch tracing first, then evaluation
- Do not route an already-instrumented debugging request back to tracing setup
- If the user's request spans multiple skills, handle them in logical order (setup → instrument → evaluate)

© mlflow · Apache-2.0 · mlflow/skills

Смотрите также

Спонсоры проекта

Компании, которые помогают держать аналитику открытой