# build-a-scorer

Помогает спроектировать и внедрить набор судей и скореров MLflow для RAG или LLM-агента. Выделяет атомарные критерии качества и выбирает самую дешёвую надёжную проверку.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 328 установок · ★ 82
- Автор: mlflow
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/mlflow/skills/tree/HEAD/build-a-scorer/SKILL.md
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/skills/build-a-scorer

## Что делает

Скилл помогает собрать стартовый набор проверок для LLM-приложения или RAG без раздувания затрат на токены. Сначала агент задаёт не более трёх вопросов о назначении программы и критичных ошибках, после чего сразу предлагает черновик метрик. Набор ограничен 3–5 атомарными проверками, где каждая возвращает `bool` либо `yes`/`no`. Дробные оценки без калибровки не используются.

В реализации соблюдается строгая иерархия дешевизны: проверки кодом на Python выигрывают у встроенных функций, а LLM-судьи через `make_judge` идут последними. Скилл не гадает по памяти, а запускает интроспекцию установленного пакета `mlflow` через Python, проверяя точные контракты данных в `required_columns`.

Для встроенных скореров извлечения обязательны спаны с типом `RETRIEVER` — если поиск оформлен как `TOOL`, библиотека выбросит исключение. По этой причине для проверок по следам скилл рекомендует фильтровать контекст через `trace.search_spans()`, а не отправлять сырой `{{ trace }}` в промпт модели.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mlflow/skills --skill build-a-scorer -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/build-a-scorer/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/build-a-scorer/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mlflow/skills --skill build-a-scorer -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/build-a-scorer/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mlflow/skills --skill build-a-scorer -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/build-a-scorer/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install mlflow/skills build-a-scorer
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/build-a-scorer/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mlflow/skills --skill build-a-scorer -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/mlflow/skills --path build-a-scorer
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/build-a-scorer/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add mlflow/skills --skill build-a-scorer -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/mlflow/skills/tree/HEAD/build-a-scorer/SKILL.md

## Когда брать
- подобрать скореры MLflow под RAG или агентное приложение
- разделить размытые требования к качеству ответов на атомарные критерии
- заменить дорогие промпты LLM-судей на быстрые проверки в коде
- настроить передачу нужных спанов из трейсов без сериализации всей истории

## Примеры запросов агенту
- Помоги настроить скореры MLflow для RAG-бота по внутренней документации
- Разбери критичные ошибки нашего агента поддержки и составь 3-5 метрик качества
- Напиши функцию оценки для проверки того, что агент не выдумывает скидки

## Похожие
- [build-review-interface](https://affpapa.org/nevibecode/skills/build-review-interface.md) — скилл · 970 установок
- [validate-evaluator](https://affpapa.org/nevibecode/skills/validate-evaluator.md) — скилл · 1100 установок
- [agent-observability-eval-bootstrap](https://affpapa.org/nevibecode/skills/agent-observability-eval-bootstrap.md) — скилл · 547 установок
- [senior-data-scientist](https://affpapa.org/nevibecode/skills/senior-data-scientist.md) — скилл · 942 установки
- [rag-eval](https://affpapa.org/nevibecode/skills/rag-eval.md) — скилл · 2400 установок
- [rag-perf](https://affpapa.org/nevibecode/skills/rag-perf.md) — скилл · 2200 установок

Из того же набора: [mlflow/skills](https://affpapa.org/nevibecode/by/mlflow/skills.md) — 10 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md