databricks-mlflow-evaluation — скилл для Claude Code
Скилл databricks-mlflow-evaluation для запуска mlflow.genai.evaluate(), проектирования скорёров и датасетов, настройки судей через MemAlign и мониторинга качества в проде.
лицензия не указана 355 установок ★ 408 обновлён 2026-11-03
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-codeЧто делает databricks-mlflow-evaluation
Скилл покрывает полный цикл оценки генеративных агентов на Databricks: от определения критериев качества до проверки, что изменения действительно улучшили поведение. Внутри три руководства: проектирование скорёров, создание датасета с оценкой агента и улучшение агента с повторной проверкой.
Для работы нужен Databricks CLI версии 1.0.0 или новее. Аутентификация и поиск workspace описаны в родительском скилле databricks-core. Трассировку, получение трейсов и диагностику по трейсам этот скилл не делает — для этого есть отдельный databricks-mlflow-tracing.
Если traces отсутствуют или падение требует диагностики по трейсу, сначала запускают tracing-скилл. Для судейских моделей Databricks рекомендуют URI вида databricks:/system.ai.<model> с пакетом mlflow[databricks]>=3.16.0. Ошибка 404 часто означает старый клиент, который не понимает системный URI, а не проблему с правами.
Какие задачи решает
- запустить mlflow.genai.evaluate() на Databricks
- спроектировать скорёры под критерии качества
- собрать датасет для оценки агента
- выровнять судью с ожиданиями через MemAlign
- проверить, что изменение агента дало улучшение
Примеры запросов агенту
- Создай датасет и оцени моего агента по руководству MLflow evaluation
- Помоги спроектировать скорёры для оценки качества ответов
- Проверь трассировку перед запуском оценки с этими скорёрами
Как установить databricks-mlflow-evaluation
1Через Skills CLI (Vercel)
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-code2Вручную: положить файлы
~/.claude/skills/databricks-mlflow-evaluation/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/databricks-mlflow-evaluation/
1Через Skills CLI (Vercel)
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a codex2Вручную: положить файлы
.agents/skills/databricks-mlflow-evaluation/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a cursor2Вручную: положить файлы
.cursor/skills/databricks-mlflow-evaluation/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install databricks/databricks-agent-skills skills/databricks-mlflow-evaluation2Вручную: положить файлы
.github/skills/databricks-mlflow-evaluation/SKILL.md1Через Skills CLI (Vercel)
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a gemini-cli2Командой платформы
gemini skills install https://github.com/databricks/databricks-agent-skills --path skills/databricks-mlflow-evaluationВручную: положить файлы
.devin/skills/databricks-mlflow-evaluation/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о databricks-mlflow-evaluation
Как установить databricks-mlflow-evaluation в Claude Code?
Выполните npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-code. Файл скилла появится в ~/.claude/skills/databricks-mlflow-evaluation/SKILL.md.
Что делает databricks-mlflow-evaluation?
Описывает, как запускать оценку GenAI-агентов через MLflow на Databricks: проектировать скорёры и датасеты, выравнивать судей с помощью MemAlign, оптимизировать промпты и отслеживать качество в проде.
Чем отличается от databricks-mlflow-tracing?
Tracing-скилл отвечает за трассировку, получение трейсов и диагностику по ним. Если для выбранного режима оценки или скорёров нужна трассировка, её проверяют отдельно — сам evaluation-скилл трейсы не достаёт.