К основному содержанию
скилл CX Codex

databricks-mlflow-evaluation — скилл для Claude Code

Скилл databricks-mlflow-evaluation для запуска mlflow.genai.evaluate(), проектирования скорёров и датасетов, настройки судей через MemAlign и мониторинга качества в проде.

лицензия не указана 355 установок ★ 408 обновлён 2026-11-03

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-code
Открыть на GitHub

Что делает databricks-mlflow-evaluation

Скилл покрывает полный цикл оценки генеративных агентов на Databricks: от определения критериев качества до проверки, что изменения действительно улучшили поведение. Внутри три руководства: проектирование скорёров, создание датасета с оценкой агента и улучшение агента с повторной проверкой.

Для работы нужен Databricks CLI версии 1.0.0 или новее. Аутентификация и поиск workspace описаны в родительском скилле databricks-core. Трассировку, получение трейсов и диагностику по трейсам этот скилл не делает — для этого есть отдельный databricks-mlflow-tracing.

Если traces отсутствуют или падение требует диагностики по трейсу, сначала запускают tracing-скилл. Для судейских моделей Databricks рекомендуют URI вида databricks:/system.ai.<model> с пакетом mlflow[databricks]>=3.16.0. Ошибка 404 часто означает старый клиент, который не понимает системный URI, а не проблему с правами.

Какие задачи решает

  • запустить mlflow.genai.evaluate() на Databricks
  • спроектировать скорёры под критерии качества
  • собрать датасет для оценки агента
  • выровнять судью с ожиданиями через MemAlign
  • проверить, что изменение агента дало улучшение

Примеры запросов агенту

  • Создай датасет и оцени моего агента по руководству MLflow evaluation
  • Помоги спроектировать скорёры для оценки качества ответов
  • Проверь трассировку перед запуском оценки с этими скорёрами

Как установить databricks-mlflow-evaluation

1Через Skills CLI (Vercel)

npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-code

2Вручную: положить файлы

~/.claude/skills/databricks-mlflow-evaluation/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/databricks-mlflow-evaluation/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о databricks-mlflow-evaluation

Как установить databricks-mlflow-evaluation в Claude Code?

Выполните npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-code. Файл скилла появится в ~/.claude/skills/databricks-mlflow-evaluation/SKILL.md.

Что делает databricks-mlflow-evaluation?

Описывает, как запускать оценку GenAI-агентов через MLflow на Databricks: проектировать скорёры и датасеты, выравнивать судей с помощью MemAlign, оптимизировать промпты и отслеживать качество в проде.

Чем отличается от databricks-mlflow-tracing?

Tracing-скилл отвечает за трассировку, получение трейсов и диагностику по ним. Если для выбранного режима оценки или скорёров нужна трассировка, её проверяют отдельно — сам evaluation-скилл трейсы не достаёт.

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
mlflow-evaluation mlflow Скилл mlflow-evaluation для Claude Code настраивает оценщиков MLflow и запускает оценку GenAI на агенте, наборе данных, готовых результатах или трассировках. Проверяет качество ответов и разбирает результаты запусков. CX Codex +1 184установок databricks-expert PCL Team Скилл databricks-expert для Claude Code подключает агенту практики Databricks: кластеры, Delta Lake, PySpark и MLflow. Разбирает медленные пайплайны и сбои на join. CX Codex +1 215установок mlflow-onboarding mlflow Скилл mlflow-onboarding для Claude Code и других агентов определяет тип проекта — GenAI или классический ML — и ведёт по нужному квикстарту MLflow. Подключает трекинг или трейсинг с первого шага. CX Codex +1 1 300установок data-engineering-patterns-fabric-databricks reason-machines Скилл data-engineering-patterns-fabric-databricks с 600+ паттернами инженерии данных для Azure Databricks, Microsoft Fabric и PySpark: архитектура озера данных, Delta Lake, пайплайны, оптимизация кластеров. CX Codex +1 1 600установок databricks-2025 JosiahSiegel Скилл databricks-2025 для Claude Code содержит шаблоны интеграции Azure Data Factory с Databricks и коннекторами 2025 года для пайплайнов данных. CX Codex +1 168установок azure-databricks-platform-architect VoltAgent Субагент azure-databricks-platform-architect проектирует архитектуру платформы Azure Databricks: lakehouse, Unity Catalog, сетевую изоляцию и вычисления без лишних границ. CX Codex ★ 6 505звёзд репо

Из того же набора30

Весь набор →
databricks-aibi-dashboards Скилл databricks-aibi-dashboards для сборки AI/BI дашбордов в Databricks: знает структуру JSON Lakeview и заставляет агента проверять SQL перед деплоем. CX Codex +1 366установок databricks-apps-python Скилл databricks-apps-python для Claude Code, Codex, Cursor и других агентов, который добавляет поддержку Python-бэкендов на Databricks Apps. CX Codex +1 363установок databricks-execution-compute Скилл databricks-execution-compute запускает код на Databricks и помогает выбирать режим вычислений. Подходит для Spark-задач, длительных запусков и работы с интерактивными кластерами. CX Codex +1 359установок databricks-python-sdk Скилл databricks-python-sdk помогает работать с Python SDK Databricks, Databricks Connect, CLI и REST API. Пригодится при разработке кода для Databricks. CX Codex +1 358установок databricks-ml-training Скилл databricks-ml-training для обучения моделей машинного обучения на Databricks с поддержкой XGBoost, scikit-learn, LightGBM и PyTorch. Интегрирует MLflow, Unity Catalog и Feature Store для полного цикла от тренировки до batch-скоринга. CX Codex +1 354установок databricks-lakeflow-connect Скилл databricks-lakeflow-connect для Claude Code настраивает и отлаживает загрузку данных из SQL Server, PostgreSQL, MySQL и Oracle в Unity Catalog. Работает с CDC и запросами. CX Codex +1 348установок databricks-zerobus-ingest Скилл databricks-zerobus-ingest помогает отправлять события, логи и CDC напрямую в Delta-таблицы Databricks. Подходит для потоковых данных без отдельного брокера. CX Codex +1 331установок databricks-unstructured-pdf-generation Скилл databricks-unstructured-pdf-generation генерирует синтетические PDF из HTML, загружает их в тома Unity Catalog и готовит вопросы с ответами для проверки RAG в Databricks. CX Codex +1 328установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой