К основному содержанию
скилл CX Codex

golden-dataset — скилл для Claude Code: что делает и как установить

Скилл golden-dataset для Claude Code описывает жизненный цикл эталонных датасетов: курацию, девятифазное добавление, регрессионные тесты и интеграцию с Langfuse.

MIT 193 установок ★ 305 обновлён 2026-11-14

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add yonatangross/orchestkit --skill golden-dataset -a claude-code
Открыть на GitHub

Что делает golden-dataset

Скилл формализует работу с golden dataset для AI/ML-оценки. Внутри шесть правил по четырём направлениям: сбор и разметка документов, версионирование с бэкапами, регрессионная валидация перед коммитом и регламент добавления новых данных. Правила из каталога rules/ подтягиваются по требованию агента.

В регламенте заданы конкретные пороги качества: минимум 0.70 для включения документа в датасет, от 0.65 для автоматического добавления и запрет дубликатов при схожести от 0.90 (начиная с 0.85 выдаётся предупреждение). Для каждого документа требуется не меньше двух тематических тегов и трёх тестовых запросов. Скилл также описывает запуск экспериментов через SDK Langfuse (v4 для Python и v5 для TypeScript), разделяя оценку отдельных записей и агрегированные прогоны.

Обратите внимание: скилл помечен как user-invocable: false с отключённым прямым вызовом модели, поэтому он работает как контекст для субагента пайплайнов данных (data-pipeline-engineer), а не через ручную команду.

Какие задачи решает

  • настроить девятифазную валидацию документов перед добавлением в датасет
  • проверить распределение тестовых запросов по четырём уровням сложности
  • сохранить эталонный датасет в переносимый JSON без встраиваний
  • запустить регрессионный прогон экспериментов через SDK Langfuse

Примеры запросов агенту

  • Проверь новый документ по чек-листу перед включением в эталонный датасет
  • Помоги сбалансировать сложность запросов для регрессионного тестирования модели
  • Настрой запуск эксперимента в Langfuse с остановкой пайплайна по RegressionError

Как установить golden-dataset

1Через Skills CLI (Vercel)

npx skills add yonatangross/orchestkit --skill golden-dataset -a claude-code

2Вручную: положить файлы

~/.claude/skills/golden-dataset/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/golden-dataset/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о golden-dataset

Как установить golden-dataset в Claude Code?

Выполните в терминале команду npx skills add yonatangross/orchestkit --skill golden-dataset -a claude-code. Файл скилла будет сохранён по пути ~/.claude/skills/golden-dataset/SKILL.md.

Для чего предназначен скилл golden-dataset?

Он задаёт стандарты подготовки и сопровождения эталонных наборов данных для тестирования LLM: правила разметки, пороги схожести, форматы бэкапов и автоматизацию регрессий в CI.

Почему эмбеддинги не сохраняются в бэкап датасета?

Архитектурное решение в скилле предписывает сохранять только чистый JSON для удобного версионирования в Git, а векторные представления генерировать заново при восстановлении данных.

Исходный текст

SKILL.md · MIT
---
name: golden-dataset
license: MIT
compatibility: "Claude Code 2.1.277+."
description: Golden dataset lifecycle patterns for curation, versioning, quality validation, and CI integration. Use when building evaluation datasets, managing dataset versions, validating quality scores, or integrating golden tests into pipelines.
user-invocable: false
metadata:
  owner-agent: "data-pipeline-engineer"
  category: document-asset-creation
  version: "2.0.0"
  author: "OrchestKit"
  complexity: "medium"
  tags: "golden-dataset, evaluation, dataset-curation, dataset-validation, quality, llm-testing"
allowed-tools: "Read Glob Grep WebFetch WebSearch"
---

# Golden Dataset

Comprehensive patterns for building, managing, and validating golden datasets for AI/ML evaluation. Each category has individual rule files in `rules/` loaded on-demand.

## Quick Reference

| Category | Rules | Impact | When to Use |
| -------- | ----- | ------ | ----------- |
| [Curation](#curation) | 2 | HIGH | Content collection, annotation pipelines |
| [Management](#management) | 2 | HIGH | Versioning, backup/restore |
| [Validation](#validation) | 1 | CRITICAL | Regression testing |
| [Add Workflow](#add-workflow) | 1 | HIGH | 9-phase curation, quality scoring, bias detection, silver-to-gold |

Total: 6 rules across 4 categories. House thresholds and scars: `references/ork-delta.md`.

## Curation

Content collection, multi-agent annotation, and diversity analysis for golden datasets.

| Rule | File | Key Pattern |
| ---- | ---- | ----------- |
| Collection | `rules/curation-collection.md` | Content type classification, quality thresholds, duplicate prevention |
| Annotation | `rules/curation-annotation.md` | Multi-agent pipeline, consensus aggregation, Langfuse tracing |

Difficulty ladder, coverage floors, and duplicate thresholds: `references/ork-delta.md`.

## Management

Versioning, storage, and CI/CD automation for golden datasets.

| Rule | File | Key Pattern |
| ---- | ---- | ----------- |
| Versioning | `rules/management-versioning.md` | JSON backup format, embedding regeneration, disaster recovery |
| Storage | `rules/management-storage.md` | Backup strategies, URL contract, data integrity checks |

CI automation for backups is upstream's job; see "Upstream coverage" below.

## Validation

Quality scoring, drift detection, and regression testing for golden datasets.

| Rule | File | Key Pattern |
| ---- | ---- | ----------- |
| Regression | `rules/validation-regression.md` | Difficulty distribution, pre-commit hooks, full dataset validation |

Schema validation and duplicate detection are upstream's job (see "Upstream coverage"
below); the house thresholds they must enforce live in `references/ork-delta.md`.

## Add Workflow

Structured workflow for adding new documents to the golden dataset.

| Rule | File | Key Pattern |
| ---- | ---- | ----------- |
| Add Document | `rules/curation-add-workflow.md` | 9-phase curation, parallel quality analysis, bias detection |

## Quick Start Example

```python
async def validate_before_add(document: dict, source_url_map: dict) -> dict:
    """Pre-addition validation for golden dataset entries."""
    errors = []

    # 1. URL contract check
    if "placeholder" in document.get("source_url", ""):
        errors.append("URL must be canonical, not a placeholder")

    # 2. Content quality
    if len(document.get("title", "")) < 10:
        errors.append("Title too short (min 10 chars)")

    # 3. Tag requirements
    if len(document.get("tags", [])) < 2:
        errors.append("At least 2 domain tags required")

    return {"valid": len(errors) == 0, "errors": errors}
```

## Key Decisions

| Decision | Recommendation |
| -------- | -------------- |
| Backup format | JSON (version controlled, portable) |
| Embedding storage | Exclude from backup (regenerate on restore) |
| Quality threshold | >= 0.70 quality score for inclusion |
| Confidence threshold | >= 0.65 for auto-include |
| Duplicate threshold | >= 0.90 similarity blocks, >= 0.85 warns |
| Min tags per entry | 2 domain tags |
| Min test queries | 3 per document |
| Difficulty balance | Trivial 3, Easy 3, Medium 5, Hard 3 minimum |
| CI frequency | Weekly automated backup (Sunday 2am UTC) |

## Common Mistakes

1. Using placeholder URLs instead of canonical source URLs
2. Skipping embedding regeneration after restore
3. Not validating referential integrity between documents and queries
4. Over-indexing on articles (neglecting tutorials, research papers)
5. Missing difficulty distribution balance in test queries
6. Not running verification after backup/restore operations
7. Testing restore procedures in production instead of staging
8. Committing SQL dumps instead of JSON (not version-control friendly)

## Running a dataset as an experiment

Curating a dataset is half the job; the other half is running something against it and scoring the
result. Both Langfuse SDKs ship a runner, and their shapes differ.

**Python (SDK 4.x):** see `monitoring-observability/references/experiments-api.md`.

**JS/TS (SDK 5.x):** `@langfuse/client` exposes the runner directly on a fetched dataset.

```typescript
import { LangfuseClient } from "@langfuse/client";

const langfuse = new LangfuseClient();
const dataset = await langfuse.dataset.get("my-evaluation-dataset");

const result = await dataset.runExperiment({
  name: "Retrieval quality",
  task: myTask,               // (params) => Promise<any>
  evaluators: [myEvaluator],  // per-item: (params) => Promise<Evaluation | Evaluation[]>
});
```

| Type | Scores | Use for |
|---|---|---|
| `Evaluator` | one item | Per-example quality (faithfulness, relevance) |
| `RunEvaluator` | the whole run | Aggregate assertions — pass rate, mean score, regression checks |
| `Evaluation` | — | `{ name, value, comment?, metadata?, dataType?, configId? }` |

A per-item `Evaluator` cannot see the other items, so anything comparative belongs in a
`RunEvaluator`. `createEvaluatorFromAutoevals` wraps an autoevals scorer instead of hand-writing
one, and `RegressionError` is thrown when a run regresses against a configured baseline — catch it
to fail CI on a quality drop rather than only on an exception.

Full JS surface: `monitoring-observability/references/langfuse-js-v5.md`.

## Evaluations

See `test-cases.json` for 9 test cases across all categories.

## Upstream coverage (do not restate)

| Topic | First-party source |
| ----- | ------------------ |
| Dataset schema validation (JSON Schema, field constraints) | https://json-schema.org and https://zod.dev |
| Duplicate detection via embeddings, cosine similarity | https://github.com/pgvector/pgvector |
| Scheduled backup automation (cron workflows, commit bots) | https://docs.github.com/actions/using-workflows/events-that-trigger-workflows#schedule |
| Dataset runs, experiment scoring, annotation queues | https://langfuse.com/docs/datasets |
| Backup and restore mechanics for postgres datasets | https://www.postgresql.org/docs/current/backup.html |

House thresholds these must enforce: `references/ork-delta.md`.

## Related Skills

- `ork-extras:rag-retrieval` - Retrieval evaluation using golden dataset
- `ork-extras:monitoring-observability` - Langfuse tracing patterns for curation workflows
- `ork:testing-llm` - Evaluation harnesses that consume golden datasets
- `ork:testing-unit` - Unit testing patterns and strategies

## Capability Details

### curation

**Keywords:** golden dataset, curation, content collection, annotation, quality criteria

**Solves:**

- Classify document content types for golden dataset
- Run multi-agent quality analysis pipelines
- Generate test queries for new documents

### management

**Keywords:** golden dataset, backup, restore, versioning, disaster recovery

**Solves:**

- Backup and restore golden datasets with JSON
- Regenerate embeddings after restore
- Automate backups with CI/CD

### validation

**Keywords:** golden dataset, validation, schema, duplicate detection, quality metrics

**Solves:**

- Validate entries against document schema
- Detect duplicate or near-duplicate entries
- Analyze dataset coverage and distribution gaps

© OrchestKit · MIT · yonatangross/orchestkit

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
arize-dataset официальный arize Скилл arize-dataset управляет датасетами Arize и примерами через ax. Он пригодится для тестовых наборов и оценки AI-приложений. CX Codex +1 1 100установок dummy-dataset phuryn Скилл dummy-dataset для Claude Code генерирует тестовые наборы данных с заданными колонками, бизнес-правилами и форматом вывода. Наполняет базы данных и готовит данные для демонстраций. CX Codex +1 2 900установок langfuse langfuse Помогает настроить трейсинг, оценку и промпты в Langfuse прямо из чата с агентом. Пригодится при отладке вызовов моделей и сборе датасетов. CX Codex +1 21 400установок tooluniverse-dataset-discovery mims-harvard Скилл tooluniverse-dataset-discovery находит научные датасеты под исследовательские задачи, проверяя дизайн исследования и переменные. Пригодится при поиске когорт, опросов или биомедицинских баз данных. CX Codex +1 254установок alibabacloud-cms-dataset aliyun Скилл alibabacloud-cms-dataset для Claude Code управляет датасетами CloudMonitor через aliyun: показывает, создаёт, обновляет и удаляет их, а также запускает запросы. CX Codex +1 154установок evaluation-design microsoft Скилл evaluation-design помогает составить тестовые датасеты и сопроводительные руководства для диалоговых агентов и RAG-систем. Задаёт вопросы по одному и фиксирует требования. CX Codex +1 ★ 1 627звёзд репо

Из того же набора86

Весь набор →
demo-producer Скилл demo-producer для Claude Code автоматизирует создание демонстрационных и промо-видео по коду, CLI и плагинам. Запускает связку из VHS и Remotion для подготовки роликов в разных форматах. CX Codex +1 196установок configure Интерактивный мастер для настройки OrchestKit: подключение MCP-серверов, права хуков, горячие клавиши, пресеты. Запускается при первой установке плагина и по команде /orchestkit:configure. CX Codex +1 196установок async-jobs Скилл async-jobs для Claude Code содержит правила и шаблоны для настройки очередей задач, повторов и воркфлоу в Celery, ARQ, Redis и Temporal. CX Codex +1 195установок product-frameworks Скилл product-frameworks для Claude Code даёт фреймворки для финансового анализа, приоритизации, метрик и исследований. С его помощью оформляют бизнес-кейсы, PRD и планы пользовательских исследований. CX Codex +1 194установок mcp-patterns Скилл mcp-patterns для Claude Code и Codex помогает проектировать серверы Model Context Protocol. Включается при настройке транспортов, авторизации через OAuth, кэшировании ресурсов и защите от инъекций. CX Codex +1 191установок browser-tools Скилл browser-tools для Claude Code добавляет правила безопасности при автоматизации браузера через agent-browser: этику скрейпинга, паузы, обработку локальных URL и аутентификацию. Включается автоматически при такой работе. CX Codex +1 191установок scope-appropriate-architecture Скилл scope-appropriate-architecture определяет уровень проекта из шести и выбирает паттерны под его задачи, чтобы не строить микросервисы для MVP. Срабатывает в начале проектирования и при проверке сложности. CX Codex +1 179установок storybook-mcp-integration Скилл storybook-mcp-integration для Claude Code подключает инструменты Storybook MCP к работе с существующими компонентами. Агент ищет компоненты и их документацию, открывает предпросмотры и запускает тесты историй. CX Codex +1 166установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой