# online-evals

Подключает судей к вариантам конфига, чтобы ответы модели автоматически получали оценку от 0.0 до 1.0. Пригодится, когда нужно следить за качеством промптов в проде.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1800 установок · ★ 28
- Автор: launchdarkly
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/launchdarkly/ai-tooling/tree/HEAD/skills/agentcontrol/online-evals/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/online-evals

## Что делает

Скилл работает с конфигами LaunchDarkly в режиме judge. Судья — это отдельный конфиг, который получает ответ другой модели и возвращает оценку с пояснением. Внутри уже есть три готовых судьи: Accuracy, Relevance и Toxicity. Для своих задач можно создать собственного судью с промптом под конкретную область, например проверку безопасности кода.

Судьи крепятся к варианту через PATCH-запрос, где указывается ключ судьи и частота сэмплирования. Массив `judges` заменяет все прежние привязки целиком: пустой массив снимает всех судей сразу. Учтите это, если добавляете судью к варианту, где уже что-то привязано. Ещё каждому судье нужно выставить fallthrough на включённый вариант — по умолчанию конфиг смотрит на «disabled», и без этого шага оценок не будет.

Для работы нужен доступ к LaunchDarkly с включённым AgentControl и токен с правом записи. Автоматическая запись метрик и объединённый вызов `track_judge_result` / `trackJudgeResult` требуют Python AI SDK v0.20.0+ или Node.js AI SDK v0.20.0+. Скилл советует идти через MCP-сервер LaunchDarkly: он авторизуется по OAuth и токен не нужен. Прямые вызовы REST API оставлены на случаи, когда аналога в MCP нет.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add launchdarkly/ai-tooling --skill online-evals -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/online-evals/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/online-evals/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add launchdarkly/ai-tooling --skill online-evals -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/online-evals/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add launchdarkly/ai-tooling --skill online-evals -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/online-evals/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install launchdarkly/ai-tooling online-evals
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/online-evals/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add launchdarkly/ai-tooling --skill online-evals -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/launchdarkly/ai-tooling --path skills/agentcontrol/online-evals
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/online-evals/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add launchdarkly/ai-tooling --skill online-evals -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/launchdarkly/ai-tooling/tree/HEAD/skills/agentcontrol/online-evals/SKILL.md

## Когда брать
- оценивать ответы модели в проде без ручного просмотра
- завести своего судью под проверку безопасности кода
- сравнить качество вариантов промпта по метрикам
- снизить долю токсичных ответов через метрику с инверсией
- подключить оценку к части запросов, а не ко всем

## Примеры запросов агенту
- Создай судью security-judge с промптом для проверки SQL-инъекций и XSS
- Привяжи судью accuracy к варианту default с частотой сэмплирования 0.5
- Выставь fallthrough судьи на включённый вариант в окружении production

## Похожие
- [evals-start](https://affpapa.org/nevibecode/skills/evals-start.md) — скилл · 776 установок
- [agent-evals](https://affpapa.org/nevibecode/skills/agent-evals.md) — скилл · 340 установок
- [logfire-evals](https://affpapa.org/nevibecode/skills/logfire-evals.md) — скилл · 554 установки
- [rag-observability-evals](https://affpapa.org/nevibecode/skills/rag-observability-evals.md) — скилл · 318 установок
- [ai-evals](https://affpapa.org/nevibecode/skills/ai-evals.md) — скилл · 2100 установок
- [phoenix-evals](https://affpapa.org/nevibecode/skills/phoenix-evals.md) — скилл · 1000 установок

Из того же набора: [launchdarkly/ai-tooling](https://affpapa.org/nevibecode/by/launchdarkly/ai-tooling.md) — 42 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md