К основному содержанию
скилл CX Codex

agent-observability-experiment-bootstrap — скилл для Claude Code

Скилл agent-observability-experiment-bootstrap для Claude Code собирает воспроизводимый артефакт эксперимента LLM Observability: датасет с версией, задачу, оценщики и их метрики. Сравнивает версии промпта на одних и тех же записях.

MIT 382 установок ★ 185 обновлён 2026-10-22

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a claude-code
Открыть на GitHub

Что делает agent-observability-experiment-bootstrap

Скилл генерирует один файл эксперимента: .py, .ipynb или .mjs. Внутри — задача, которая прогоняется по датасету с зафиксированной версией, запись выходов, метрики оценщиков и метаданные запуска: проект, версия датасета, источник задачи, git-ревизия. В конце печатается ссылка на результат, если бэкенд её отдаёт.

Адаптер выбирается флагом --adapter python|node, по умолчанию Python. Из references/ подгружается ровно один контракт — python/python.md или node/nodejs.md, остальные файлы скилл не читает. Оценщики задаются стилем function, class или remote, датасет берётся из локального JSON/CSV либо по имени и версии с сервера. Перед показом файл проверяется: python -m py_compile <path> для скрипта, разбор JSON для ноутбука, node --check <path> для .mjs.

Без локального пакета dd-trace с tracer.llmobs.experiments Node-адаптер рабочий файл не соберёт. Если источник задачи не передан, в артефакте останется помеченная заглушка — запускать её как есть нельзя. Ключи скилл берёт из --env-file, литеральных секретов в сгенерированном коде не будет.

Какие задачи решает

  • собрать эксперимент по датасету с зафиксированной версией
  • подключить LLM-судью рядом с детерминированной проверкой
  • прогнать регрессию на одном и том же наборе записей
  • проверить сгенерированный скрипт до запуска
  • развести ошибки задачи и ошибки оценщика

Примеры запросов агенту

  • Собери эксперимент LLM Observability: датасет evals/golden.json, задача из app.chain:answer, оценщики — точное совпадение и LLM-судья.
  • Запусти /agent-observability-experiment-bootstrap --adapter node --format mjs --dataset-name support-golden --dataset-version 3 и проверь файл через node --check.
  • Сделай ноутбук с экспериментом под проект checkout-rag и оценщиками стиля function.

Как установить agent-observability-experiment-bootstrap

1Через Skills CLI (Vercel)

npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a claude-code

2Вручную: положить файлы

~/.claude/skills/agent-observability-experiment-bootstrap/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/agent-observability-experiment-bootstrap/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об agent-observability-experiment-bootstrap

Как установить agent-observability-experiment-bootstrap в Claude Code?

Выполните npx skills add datadog-labs/agent-skills --skill agent-observability-experiment-bootstrap -a claude-code. Файл скилла появится по пути ~/.claude/skills/agent-observability-experiment-bootstrap/SKILL.md.

Что делает agent-observability-experiment-bootstrap?

Генерирует воспроизводимый файл эксперимента LLM Observability: датасет, задачу, оценщики, метрики и метаданные запуска. Работает через Python ddtrace или Node dd-trace.

Что нужно для Node-адаптера?

Локальный пакет dd-trace, в котором доступен tracer.llmobs.experiments. Python- и Node-SDK в одном файле скилл не смешивает.

Исходный текст

SKILL.md · MIT
---
name: agent-observability-experiment-bootstrap
description: Bootstrap a reproducible LLM Observability experiment through the Python ddtrace SDK or the Node dd-trace SDK. Use for experiment, dataset, evaluator, benchmark, regression, or LLM-as-a-judge scaffolding. The legacy Python invocation remains supported.
---

# LLM Observability Experiment Bootstrap

Generate one reproducible experiment artifact. The artifact evaluates a task over a versioned dataset, records outputs and evaluator metrics, carries configuration and provenance, and prints a result link or identifiers when possible.

This skill is adapter-independent. Each adapter owns a language-specific directory under `references/`; load only the selected adapter contract. The directories are intentionally symmetric even when one adapter currently has fewer supporting references.

## Invocation and compatibility

The installed directory and legacy invocation remain valid:

```text
/agent-observability-experiment-bootstrap [--purpose TEXT] [--format py|ipynb|mjs]
  [--dataset PATH | --dataset-name NAME] [--dataset-version N]
  [--project-name NAME] [--evaluator-style function|class|remote]
  [--jobs N] [--output PATH] [--task-source module:function]
  [--placeholder-task] [--app-root PATH] [--env-file PATH]
```

General options:

```text
--adapter python|node             # default: python
--format py|ipynb|mjs             # Python: py/ipynb; Node: mjs
--site SITE                      # otherwise DD_SITE or datadoghq.com
```

Do not prompt for optional defaults. Resolve a non-empty purpose from `--purpose`, the request, or a focused question. Keep the purpose as reasoning context, not a fixed taxonomy.

## Mandatory context loading

Load context in this order:

1. Parse the adapter.
2. Read exactly one adapter reference:
   - Python SDK → `references/python/python.md`
   - Node SDK → `references/node/nodejs.md`
3. For Python task generation, read only the selected provider reference under `references/python/providers/`.
4. For Python task generation, read only the selected evaluator reference under `references/python/evaluator-styles/`.

Do not load all provider, evaluator, Python, and Node references “for completeness.” The selected reference is the source of truth for syntax and API behavior.

## Adapter selection

Use Python when the application or requested artifact is Python, or when no adapter is specified. Use Node when the application is JavaScript/TypeScript and the local `dd-trace` package exposes `tracer.llmobs.experiments`.

Never mix the Python and Node SDKs in one generated artifact. Do not use private SDK modules or invent a missing symbol. If local source and an installed package disagree, report the discrepancy and generate against the selected version.

## Shared experiment model

Every adapter must represent the following concepts:

1. **Project** — resolve an explicit project name, configured service metadata, or a clearly documented generated fallback. Never silently use an unrelated project.
2. **Dataset** — records with input, optional expected output, optional metadata, and tags. Pin a remote dataset version when supplied.
3. **Task** — a deterministic adapter from record input to the application under test. Keep evaluation logic outside the task.
4. **Evaluators** — named row-level or summary-level metrics. Use deterministic checks for contracts and judges only where semantic evaluation is needed.
5. **Run state** — preserve task errors, evaluator errors, completion state, result rows, and partial failures separately.
6. **Provenance** — include purpose, adapter, skill name/version, project, dataset identity/version, task source, evaluator labels/rubrics, model/configuration, Git revision, and generation timestamp.

`expected_output` is optional and must not be synthesized from an observed production output without explicit validation. Distinguish a missing value from an intentionally empty object. Dataset tags must use the backend’s validated `key:value` form where the selected reference requires it.

## Generation workflow

### 1. Resolve purpose and project

Derive the purpose and project without guessing across product boundaries. A project is not automatically the same as an `ml_app`, service, dataset, or repository name. Record how each value was resolved.

### 2. Resolve the dataset

Support:

- inline records;
- local JSON or CSV;
- a named remote dataset and optional version; and
- an explicitly approved trace/annotation export.

For local JSON, require a top-level array, validate the selected adapter’s record shape, scrub obvious PII and credential-like values, and report affected record indices. Do not invent canonical or remote record IDs.

For CSV, preserve the runtime path and document the dependency. Use the Python CSV column contract from `references/python/python.md`; Node generation must not pretend that a Python-only CSV helper exists.

### 3. Resolve the task

Use `--task-source` when provided. Otherwise use the selected language’s bounded application discovery rules:

- Python: inspect the resolved app root and rank real callable candidates.
- Node: prefer an explicit import/module function and emit a clearly marked placeholder when absent.

Never claim that an invented import is wired. Preserve side-effect warnings for network, database, filesystem, environment, or tool calls.

### 4. Select evaluators

Select two or three evaluators based on purpose and available signals. Keep labels unique and stable.

- Accuracy: exact/near match plus a richer rule or judge when needed.
- Tool use: inspect structured tool calls; state the limitation when the task does not expose them.
- Structured output: parse and validate the schema.
- Retrieval: evaluate groundedness only when retrieved context is available.
- Regression: prefer deterministic checks and explicit thresholds.
- Exploration: include diagnostics or taxonomy metrics, not only a pass/fail score.

Evaluator failures must not become passing values. Summary evaluators must remain distinct from row evaluators.

### 5. Emit the artifact

Use the selected adapter reference for the exact generated code. Include:

- purpose and project resolution;
- dataset source and version;
- real task source or a prominent placeholder warning;
- evaluator labels and rubrics;
- configuration and provenance;
- credential instructions without literal secrets; and
- a result URL/ID placeholder and next steps.

Preserve the historical Python section ordering and evaluator/provider reference behavior when using the Python adapter.

### 6. Validate locally

Before presenting the artifact:

- Python `.py`: `python -m py_compile <path>`.
- Python `.ipynb`: parse JSON and require code/markdown cells.
- Node `.mjs`: `node --check <path>`.

For every adapter, check for private imports, literal credentials, malformed tags, missing provenance, mismatched dataset versions, fabricated IDs, and task/evaluator errors that were collapsed into false or pass.

### 7. Report completion

Use this compact structure:

```text
Generated LLM Observability experiment: <adapter>/<format>
Path: <path>
Purpose: "<purpose>"
Project: <project>
Dataset: <local path | name>, version=<version or latest>
Task: <wired source | placeholder>
Evaluators: <labels>
Provenance: generated_by=claude-code, adapter=<adapter>, skill=agent-observability-experiment-bootstrap
Validation: <commands and pass/fail>
Result link: <URL or pending until run>

Next steps:
1. Verify the task source and evaluator semantics.
2. Set the credentials required by the selected SDK.
3. Install the selected SDK and run the generated artifact.
4. Review per-row errors before treating metrics as a successful run.
```

## Safety and uncertainty

- Do not modify application source code unless explicitly asked.
- Do not write credentials into generated files or artifacts.
- Do not publish prompts, outputs, traces, datasets, or evaluations without explicit user approval.
- Do not use production data as ground truth without labeling and validation.
- Do not retry non-idempotent writes automatically unless the selected SDK explicitly supports it.
- On partial publication, preserve IDs and failed rows and provide a reconciliation path.

## Reference maintenance

Each adapter reference must identify the public source links and branch used to verify it. Re-check the reference when the SDK version changes. The Python reference uses the public `dd-trace-py` `main` branch; the Node reference uses the public `dd-trace-js` `master` branch.

Keep shared workflow guidance here and language-specific syntax in the references. If a detail is only true for one SDK, do not duplicate it in this file.

## Existing references

- `references/python/` — Python `ddtrace.llmobs` API, providers, evaluator styles, environment template, and legacy compatibility.
- `references/node/` — Node `tracer.llmobs.experiments` API and future Node-specific references.


Do not modify `dd-trace-py` or `dd-trace-js` while updating this skill.

© datadog-labs · MIT · datadog-labs/agent-skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
rag-observability-evals devops-skills Скилл rag-observability-evals для мониторинга и оценки RAG-систем: метрики качества поиска, проверка обоснованности ответов, детекция галлюцинаций и регрессионное тестирование. CX Codex +1 353установок langsmith-experiment-diagnosis langchain-ai Скилл langsmith-experiment-diagnosis для Claude Code и Codex разбирает результаты экспериментов в LangSmith через официальную CLI. Находит примеры с низкими оценками эвалюаторов и показывает причины ошибок. CX Codex +1 184установок redis-observability Redis, Inc. Скилл redis-observability подсказывает, какие метрики Redis держать под наблюдением и какие встроенные команды запускать при разборе инцидентов. CX Codex +1 2 600установок exploring-ai-failures PostHog Скилл exploring-ai-failures читает реальные трейсы LLM-приложения в PostHog и превращает их в список режимов отказа, отсортированный по важности. CX Codex +1 198установок future-agi-platform reason-machines Скилл future-agi-platform учит агента работать с Future AGI: подключать трейсинг, прогонять метрики оценки, разворачивать платформу у себя. CX Codex +1 315установок app-observability grafana Скилл app-observability ведёт агента по настройке Grafana Cloud: RED-метрики из OTel-трейсов, карты сервисов, браузерный RUM через Faro и наблюдение за вызовами LLM. CX Codex +1 4 800установок

Из того же набора41

Весь набор →
onboarding-summary Скилл onboarding-summary собирает живой отчёт о том, что Single Step Instrumentation в Kubernetes действительно работает, и даёт ссылки в интерфейс Datadog. CX Codex +1 473установок troubleshoot-ssi Скилл troubleshoot-ssi для Claude Code находит причины отсутствия APM-трейсов Datadog и сбоев Single Step Instrumentation в Kubernetes. Диагностирует цепочку, когда агент настроен, но трейсы не поступают. CX Codex +1 472установок verify-ssi Скилл verify-ssi для Claude Code проверяет, работает ли Single Step Instrumentation на Kubernetes. Он запускается после enable-ssi и проверяет инъекцию контейнеров, телеметрию и заданные настройки трассировщика. CX Codex +1 470установок enable-ssi Скилл enable-ssi для Claude Code включает SSI в Kubernetes, чтобы приложения отправляли трейсы в Datadog без изменений кода. Включает его в кластере с установленным Datadog Agent. CX Codex +1 470установок unblock-pr Скилл unblock-pr разбирает упавший CI в pull request и помечает каждый провалившийся job как нестабильный тест, инфраструктурную проблему или регрессию. Запускается, когда нужно понять, почему PR не проходит проверки. CX Codex +1 366установок triage-flaky-test Скилл triage-flaky-test анализирует историю нестабильного теста в Datadog, вычисляет причину сбоя и советует изоляцию или исправление. CX Codex +1 362установок datadog-app Помогает разрабатывать Datadog Apps на TypeScript и React. Подтягивает актуальную документацию из API Datadog перед генерацией кода. CX Codex +1 302установок agent-observability-build-eval-from-annotations Скилл agent-observability-build-eval-from-annotations обучает LLM-судью Datadog LLM-Obs по готовой разметке очереди аннотаций. Помогает масштабировать ручную оценку трейсов через замеры качества. CX Codex +1 254установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой