# agent-observability-experiment-bootstrap

Скилл agent-observability-experiment-bootstrap для Claude Code собирает воспроизводимый артефакт эксперимента LLM Observability: датасет с версией, задачу, оценщики и их метрики. Сравнивает версии промпта на одних и тех же записях.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 382 установки · ★ 185 у репозитория
- Автор: datadog-labs
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-experiment-bootstrap/SKILL.md
- Обновлён: 2026-10-22
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/agent-observability-experiment-bootstrap

## Что делает

Скилл генерирует один файл эксперимента: `.py`, `.ipynb` или `.mjs`. Внутри — задача, которая прогоняется по датасету с зафиксированной версией, запись выходов, метрики оценщиков и метаданные запуска: проект, версия датасета, источник задачи, git-ревизия. В конце печатается ссылка на результат, если бэкенд её отдаёт.

Адаптер выбирается флагом `--adapter python|node`, по умолчанию Python. Из `references/` подгружается ровно один контракт — `python/python.md` или `node/nodejs.md`, остальные файлы скилл не читает. Оценщики задаются стилем `function`, `class` или `remote`, датасет берётся из локального JSON/CSV либо по имени и версии с сервера. Перед показом файл проверяется: `python -m py_compile <path>` для скрипта, разбор JSON для ноутбука, `node --check <path>` для `.mjs`.

Без локального пакета `dd-trace` с `tracer.llmobs.experiments` Node-адаптер рабочий файл не соберёт. Если источник задачи не передан, в артефакте останется помеченная заглушка — запускать её как есть нельзя. Ключи скилл берёт из `--env-file`, литеральных секретов в сгенерированном коде не будет.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/agent-observability-experiment-bootstrap/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/agent-observability-experiment-bootstrap/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/agent-observability-experiment-bootstrap/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/agent-observability-experiment-bootstrap/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install datadog-labs/agent-skills agent-observability/agent-observability-experiment-bootstrap/SKILL.md
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/agent-observability-experiment-bootstrap/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/datadog-labs/agent-skills --path agent-observability/agent-observability-experiment-bootstrap
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/agent-observability-experiment-bootstrap/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/datadog-labs/agent-skills/tree/HEAD/agent-observability/agent-observability-experiment-bootstrap/SKILL.md

## Когда брать
- собрать эксперимент по датасету с зафиксированной версией
- подключить LLM-судью рядом с детерминированной проверкой
- прогнать регрессию на одном и том же наборе записей
- проверить сгенерированный скрипт до запуска
- развести ошибки задачи и ошибки оценщика

## Примеры запросов агенту
- Собери эксперимент LLM Observability: датасет `evals/golden.json`, задача из `app.chain:answer`, оценщики — точное совпадение и LLM-судья.
- Запусти `/agent-observability-experiment-bootstrap --adapter node --format mjs --dataset-name support-golden --dataset-version 3` и проверь файл через `node --check`.
- Сделай ноутбук с экспериментом под проект `checkout-rag` и оценщиками стиля function.

## Похожие
- [rag-observability-evals](https://affpapa.org/nevibecode/skills/rag-observability-evals.md) — скилл · 353 установки
- [langsmith-experiment-diagnosis](https://affpapa.org/nevibecode/skills/langsmith-experiment-diagnosis.md) — скилл · 184 установки
- [redis-observability](https://affpapa.org/nevibecode/skills/redis-observability.md) — скилл · 2600 установок
- [exploring-ai-failures](https://affpapa.org/nevibecode/skills/exploring-ai-failures.md) — скилл · 198 установок
- [future-agi-platform](https://affpapa.org/nevibecode/skills/future-agi-platform.md) — скилл · 315 установок

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
