# agent-observability-online-experiment

Скилл agent-observability-online-experiment для Claude Code запускает онлайн A/B-тесты LLM-приложений и сравнивает версии промптов или моделей на реальном трафике.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 170 установок · ★ 185 у репозитория
- Автор: datadog-labs
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-online-experiment/SKILL.md
- Обновлён: 2026-10-22
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/agent-observability-online-experiment

## Что делает

Скилл `agent-observability-online-experiment` помогает настроить и запустить A/B-тесты для LLM-приложений, используя фича-флаги Datadog. Он распределяет реальный трафик между контрольной и экспериментальной версиями приложения, а затем измеряет результаты с помощью оценок Agent Observability, а также метрик стоимости и использования токенов. Весь процесс включает создание фича-флага, подключение приложения, настройку эксперимента, привязку метрик, определение распределения трафика и запуск теста.

Для работы скилла требуется подключённый и аутентифицированный MCP-сервер Datadog с наборами инструментов `llmobs`, `experiments`, `feature-flags` и `core`. Если какой-либо шаг сообщает о недоступности функции, необходимо связаться с представителем Datadog, так как это может означать, что функция не включена для вашей организации. Скилл не предназначен для офлайн-экспериментов с фиксированным набором данных или для анализа уже завершённых тестов.

Важно помнить, что онлайн-эксперименты и MCP-сервер Datadog не поддерживаются на государственных сайтах `ddog-gov.com` и `us2.ddog-gov.com`. Если организация использует один из этих сайтов, данный рабочий процесс будет недоступен.

## Требования
- Работает с: Datadog

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-online-experiment -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/agent-observability-online-experiment/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/agent-observability-online-experiment/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-online-experiment -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/agent-observability-online-experiment/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-online-experiment -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/agent-observability-online-experiment/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install datadog-labs/agent-skills agent-observability/agent-observability-online-experiment/SKILL.md
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/agent-observability-online-experiment/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-online-experiment -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/datadog-labs/agent-skills --path agent-observability/agent-observability-online-experiment
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/agent-observability-online-experiment/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-online-experiment -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-online-experiment/SKILL.md

## Когда брать
- Сравнить две версии промпта на реальном трафике
- Проверить изменения модели на живых пользователях
- Оценить стоимость и расход токенов в LLM-приложении
- Настроить A/B-тест для LLM-приложения с фича-флагом
- Измерить результаты эксперимента с помощью метрик Agent Observability

## Примеры запросов агенту
- Запусти онлайн-эксперимент для LLM-приложения
- Сделай A/B-тест изменения промпта на живом трафике
- Настрой эксперимент с фича-флагом и оценкой

## Похожие
- [redis-observability](https://affpapa.org/nevibecode/skills/redis-observability.md) — скилл · 2600 установок
- [datadog-automation](https://affpapa.org/nevibecode/skills/datadog-automation.md) — скилл · 124 установки
- [datadog-cli](https://affpapa.org/nevibecode/skills/datadog-cli.md) — скилл · 100 установок
- [managing-experiment-lifecycle](https://affpapa.org/nevibecode/skills/managing-experiment-lifecycle.md) — скилл · 408 установок
- [monitoring-observability](https://affpapa.org/nevibecode/skills/monitoring-observability.md) — скилл · 504 установки
- [datadog](https://affpapa.org/nevibecode/plugins/datadog-datadog.md) — плагин · ★ 8052 у репозитория

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
