# databricks-mlflow-evaluation

Скилл databricks-mlflow-evaluation для запуска mlflow.genai.evaluate(), проектирования скорёров и датасетов, настройки судей через MemAlign и мониторинга качества в проде.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 355 установок · ★ 408 у репозитория
- Автор: databricks
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/databricks/databricks-agent-skills/tree/HEAD/skills/databricks-mlflow-evaluation/SKILL.md
- Обновлён: 2026-11-03
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/databricks-mlflow-evaluation

## Что делает

Скилл покрывает полный цикл оценки генеративных агентов на Databricks: от определения критериев качества до проверки, что изменения действительно улучшили поведение. Внутри три руководства: проектирование скорёров, создание датасета с оценкой агента и улучшение агента с повторной проверкой.

Для работы нужен Databricks CLI версии 1.0.0 или новее. Аутентификация и поиск workspace описаны в родительском скилле databricks-core. Трассировку, получение трейсов и диагностику по трейсам этот скилл не делает — для этого есть отдельный databricks-mlflow-tracing.

Если traces отсутствуют или падение требует диагностики по трейсу, сначала запускают tracing-скилл. Для судейских моделей Databricks рекомендуют URI вида `databricks:/system.ai.<model>` с пакетом `mlflow[databricks]>=3.16.0`. Ошибка 404 часто означает старый клиент, который не понимает системный URI, а не проблему с правами.

## Требования
- Работает с: Databricks

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/databricks-mlflow-evaluation/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/databricks-mlflow-evaluation/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/databricks-mlflow-evaluation/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/databricks-mlflow-evaluation/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install databricks/databricks-agent-skills skills/databricks-mlflow-evaluation
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/databricks-mlflow-evaluation/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/databricks/databricks-agent-skills --path skills/databricks-mlflow-evaluation
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/databricks-mlflow-evaluation/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add databricks/databricks-agent-skills --skill databricks-mlflow-evaluation -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/databricks/databricks-agent-skills/tree/HEAD/skills/databricks-mlflow-evaluation/SKILL.md

## Когда брать
- запустить mlflow.genai.evaluate() на Databricks
- спроектировать скорёры под критерии качества
- собрать датасет для оценки агента
- выровнять судью с ожиданиями через MemAlign
- проверить, что изменение агента дало улучшение

## Примеры запросов агенту
- Создай датасет и оцени моего агента по руководству MLflow evaluation
- Помоги спроектировать скорёры для оценки качества ответов
- Проверь трассировку перед запуском оценки с этими скорёрами

## Похожие
- [mlflow-evaluation](https://affpapa.org/nevibecode/skills/mlflow-evaluation.md) — скилл · 184 установки
- [databricks-expert](https://affpapa.org/nevibecode/skills/databricks-expert.md) — скилл · 215 установок
- [mlflow-onboarding](https://affpapa.org/nevibecode/skills/mlflow-onboarding.md) — скилл · 1300 установок
- [data-engineering-patterns-fabric-databricks](https://affpapa.org/nevibecode/skills/data-engineering-patterns-fabric-databricks.md) — скилл · 1600 установок
- [databricks-2025](https://affpapa.org/nevibecode/skills/databricks-2025.md) — скилл · 168 установок
- [azure-databricks-platform-architect](https://affpapa.org/nevibecode/agents/azure-databricks-platform-architect.md) — субагент · ★ 6505 у репозитория

Из того же набора: [databricks/databricks-agent-skills](https://affpapa.org/nevibecode/by/databricks/databricks-agent-skills.md) — 30 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
