# agent-observability-build-eval-from-annotations

Скилл agent-observability-build-eval-from-annotations обучает LLM-судью Datadog LLM-Obs по готовой разметке очереди аннотаций. Помогает масштабировать ручную оценку трейсов через замеры качества.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 254 установки · ★ 185 у репозитория
- Автор: datadog-labs
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-build-eval-from-annotations/SKILL.md
- Обновлён: 2026-10-22
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/agent-observability-build-eval-from-annotations

## Что делает

Скилл берёт очередь аннотаций в Datadog LLM-Obs и подбирает промпт для LLM-судьи под решения человека. Агент находит нужные данные внутри трейса, пишет первый вариант судьи и замеряет согласованность с разметкой. Затем запускается цикл оптимизации: модель смотрит на ошибки, делает точечную правку промпта, пересчитывает метрику и сохраняет результат только при реальном улучшении. По умолчанию скилл делает до 10 итераций и по три прогона на строку для голосования большинством.

Готовый судья отправляется в организацию Datadog с параметром `enabled: false`. Скилл никогда не активирует оценщик сам и не пишет аннотации обратно в очередь: включать проверку нужно вручную в интерфейсе. Данные трейсов и разметки кэшируются локально в папке `.build_eval_from_annotations/`, а в промпт судьи закладывается защита от инъекций.

Для запуска обязательно нужны минимум два класса среди человеческих меток, иначе обучение бессмысленно.

## Требования
- Работает с: Datadog

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-build-eval-from-annotations -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/agent-observability-build-eval-from-annotations/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/agent-observability-build-eval-from-annotations/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-build-eval-from-annotations -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/agent-observability-build-eval-from-annotations/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-build-eval-from-annotations -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/agent-observability-build-eval-from-annotations/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install datadog-labs/agent-skills agent-observability/agent-observability-build-eval-from-annotations/SKILL.md
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/agent-observability-build-eval-from-annotations/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-build-eval-from-annotations -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/datadog-labs/agent-skills --path agent-observability/agent-observability-build-eval-from-annotations
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/agent-observability-build-eval-from-annotations/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-build-eval-from-annotations -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-build-eval-from-annotations/SKILL.md

## Когда брать
- обучить LLM-судью по размеченным вручную строкам
- автоматизировать проверку трейсов в очереди аннотаций Datadog LLM-Obs
- настроить метрику согласованности оценок модели с человеком
- оптимизировать промпт оценщика по циклу замеров на ошибках

## Примеры запросов агенту
- Собери эвалуатор Datadog по очереди аннотаций queue-uuid-1234
- Построй LLM-судью по моим меткам из очереди 550e8400-e29b-41d4-a716-446655440000
- Автоматизируй разметку для очереди аннотаций fraud-detection-labels

## Похожие
- [redis-observability](https://affpapa.org/nevibecode/skills/redis-observability.md) — скилл · 2600 установок
- [evals-start](https://affpapa.org/nevibecode/skills/evals-start.md) — скилл · 959 установок
- [langchain-agent-monitoring](https://affpapa.org/nevibecode/skills/langchain-agent-monitoring.md) — скилл · 285 установок
- [eval-harness](https://affpapa.org/nevibecode/skills/eval-harness.md) — скилл · 6500 установок
- [eval-engineering](https://affpapa.org/nevibecode/skills/eval-engineering.md) — скилл · 6300 установок
- [cli-eval](https://affpapa.org/nevibecode/skills/cli-eval.md) — скилл · 1300 установок

Из того же набора: [datadog-labs/agent-skills](https://affpapa.org/nevibecode/by/datadog-labs/agent-skills.md) — 41 карточка

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
