# agent-observability-eval-bootstrap

Генерирует эвалюаторы качества LLM по продакшен-трейсам Datadog. Создаёт черновики онлайн-судей, код на Python для тестов или датасеты.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 547 установок · ★ 178
- Автор: datadog-labs
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-eval-bootstrap/SKILL.md
- Обновлён: 2026-10-22
- HTML: https://affpapa.org/nevibecode/skills/agent-observability-eval-bootstrap

## Что делает

Скилл анализирует трейсы приложения (`ml_app`) за выбранный интервал времени (`now-7d` по умолчанию) и формирует набор критериев оценки. Основной режим подбирает онлайн-судей (LLM-judge) с автоматическим разделением по уровню: отдельный спан, цельный трейс или сессия пользователя. Все онлайн-эвалюаторы отправляются в Datadog исключительно как выключенные черновики (`enabled: false`) и требуют ручного подтверждения в терминале перед записью.

При необходимости скилл переключается на офлайн-артефакты. Параметр `--sdk-code` генерирует файл на Python с классами `BaseEvaluator` и `LLMJudge` под локальные тесты, а `--data-only` сохраняет нейтральную JSON-спецификацию. Режим `--emit-dataset` собирает сырые трейсы в JSON-структуру для метода `LLMObs.create_dataset`, минуя создание эвалюаторов.

Для работы требуется доступ к данным через MCP-сервер `datadog-llmo-mcp` либо локальную утилиту `pup` с авторизацией в `pup auth login`. Если в среде нет ни MCP-инструментов, ни исполняемого файла `pup`, скилл сразу прерывает выполнение.

## Требования
- Работает с: Datadog

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-bootstrap -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/agent-observability-eval-bootstrap/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/agent-observability-eval-bootstrap/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-bootstrap -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/agent-observability-eval-bootstrap/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-bootstrap -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/agent-observability-eval-bootstrap/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install datadog-labs/agent-skills agent-observability-eval-bootstrap
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/agent-observability-eval-bootstrap/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-bootstrap -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/datadog-labs/agent-skills --path agent-observability/agent-observability-eval-bootstrap
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/agent-observability-eval-bootstrap/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-bootstrap -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-eval-bootstrap/SKILL.md

## Когда брать
- сгенерировать эвалюаторы качества LLM на основе реальных трейсов
- подготовить код на Python с классами BaseEvaluator и LLMJudge для тестов
- выгрузить спаны продакшена в JSON-датасет для экспериментов
- создать черновики онлайн-судей в Datadog без риска автоматического включения

## Примеры запросов агенту
- /eval-bootstrap `support-bot --timeframe 24h`
- /eval-bootstrap `summarizer-service --sdk-code`
- /eval-bootstrap `agent-service --emit-dataset ./evals/dataset.json --trace-limit 30`

## Похожие
- [skill-creator](https://affpapa.org/nevibecode/skills/skill-creator.md) — скилл · 414180 установок
- [writing-for-agents](https://affpapa.org/nevibecode/skills/writing-for-agents.md) — скилл · 466719 установок
- [media-use](https://affpapa.org/nevibecode/skills/media-use.md) — скилл · 1100000 установок
- [mcp-builder](https://affpapa.org/nevibecode/skills/mcp-builder.md) — скилл · 130949 установок
- [subagent-driven-development](https://affpapa.org/nevibecode/skills/subagent-driven-development.md) — скилл · 237746 установок
- [orchestration](https://affpapa.org/nevibecode/skills/orchestration.md) — скилл · 349800 установок

Из того же набора: [datadog-labs/agent-skills](https://affpapa.org/nevibecode/by/datadog-labs/agent-skills.md) — 20 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md