К основному содержанию
скилл CX Codex

wandb-eval-tables — скилл для Claude Code: что делает и как установить

Скилл wandb-eval-tables преобразует артефакты wandb.Table в превью wandb.EvalTable без перезаписи исходных запусков и таблиц.

Apache-2.0 393 установок ★ 76 обновлён 2026-10-23

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add wandb/skills --skill wandb-eval-tables -a claude-code
Открыть на GitHub

Что делает wandb-eval-tables

Скилл запускает встроенный скрипт table_artifact_to_eval_table.py через uv. Рабочий процесс строго разбит на шаги: сначала выполняется предварительное сканирование scan для проверки форм таблиц и предупреждений, затем создаётся превью для одного ключа таблицы, а в конце вызывается verify-preview для подтверждения целостности созданного запуска. Все промежуточные загрузки происходят во временную директорию ОС.

Превью не трогает исходные данные, а создаёт новые запуски W&B и вычисления Weave. Скрипт требует SDK wandb[workspaces]>=0.28.1 и weave, а авторизация берётся из переменных окружения WANDB_API_KEY, WANDB_ENTITY и WANDB_PROJECT или явных параметров командной строки.

Утилита ставит жёсткие лимиты: максимум 10 000 строк и 100 колонок на таблицу, выдаёт предупреждение при превышении 1 000 строк и отказывается обрабатывать больше 50 артефактов для одного ключа.

Какие задачи решает

  • просканировать артефакты wandb.Table перед конвертацией в EvalTable
  • сгенерировать изолированные превью EvalTable без повреждения оригиналов
  • проверить корректность созданных запусков командой verify-preview
  • безопасно удалить сгенерированные превью и оценки Weave

Примеры запросов агенту

  • Выполни scan для проекта wandb-evals/benchmark через скрипт wandb-eval-tables
  • Создай превью EvalTable для ключа таблицы predictions с лимитом max-runs 4
  • Проверь созданный запуск run-42 командой verify-preview

Как установить wandb-eval-tables

1Через Skills CLI (Vercel)

npx skills add wandb/skills --skill wandb-eval-tables -a claude-code

2Вручную: положить файлы

~/.claude/skills/wandb-eval-tables/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/wandb-eval-tables/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о wandb-eval-tables

Как установить wandb-eval-tables в Claude Code?

Выполните команду npx skills add wandb/skills --skill wandb-eval-tables -a claude-code. Файл навыка сохранится по пути ~/.claude/skills/wandb-eval-tables/SKILL.md.

Что делает скилл wandb-eval-tables?

Он помогает агенту анализировать артефакты wandb.Table, преобразовывать их в формат wandb.EvalTable в отдельных запусках и верифицировать результат.

Какие зависимости нужны для запуска скрипта?

Понадобятся uv, пакет wandb[workspaces]>=0.28.1 и библиотека weave, а также ключ API через переменную WANDB_API_KEY.

Исходный текст

SKILL.md · Apache-2.0
---
name: wandb-eval-tables
description: "Convert W&B Table artifacts into non-destructive EvalTable previews with scan-first planning, typed input/output/score columns, bounded batches, verification, and safe removal. Use when a coding agent needs to create, inspect, compare, verify, or remove W&B EvalTable previews."
---
<!--
SPDX-FileCopyrightText: 2026 CoreWeave, Inc.
SPDX-License-Identifier: Apache-2.0
SPDX-PackageName: skills
-->

# W&B EvalTable previews

Use the bundled helper to preview existing `wandb.Table` data as
`wandb.EvalTable` data. A preview creates new runs and keys; it never overwrites
the source runs or tables.

Read `references/EVAL_TABLES.md` before converting. It is the canonical source
for EvalTable semantics, source selection, limits, column roles, verification,
and removal.

## Environment

Run the helper from an environment that provides a W&B SDK with
`wandb.EvalTable` and Weave. Use `uv` to supply missing dependencies:

```bash
uv run --with 'wandb[workspaces]>=0.28.1' --with weave \
  python skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py --help
```

Credentials and default scope may come from `WANDB_API_KEY`, `WANDB_ENTITY`,
and `WANDB_PROJECT`; otherwise pass explicit entity/project arguments.
Downloads use the operating system's temporary directory, not a fixed current
working directory.

## Required workflow

1. Choose the narrowest source that matches the request: exact artifact, one
   run, one sweep, or a project/workspace. Do not broaden an explicitly named
   source.
2. Run `scan`. This is read-only preflight and is not proof of conversion.
3. Review `eligible_summary_by_table_key`, table shapes, truncations, warnings,
   and existing-preview metadata. Select one table key unless the user asks for
   a broader batch.
4. Classify columns only when confident. Input tuples must uniquely identify
   rows; score columns must be numeric or boolean; free-text labels and
   rationales are outputs. Leave ambiguous tables untyped.
5. Run `preview` for exactly one `--table-key` per invocation. Keep the target
   in the source project unless the user requests another writable project.
6. If runs were created, run `verify-preview` on the final created run and the
   exact logged key. Report success only when it returns `verified: true`.
7. Report created and skipped sources plus every truncation or failed check.

```bash
T=skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py

uv run python "$T" scan \
  --source-workspace ENTITY/PROJECT --max-runs 4

uv run python "$T" preview \
  --source-workspace ENTITY/PROJECT \
  --target-project ENTITY/PROJECT \
  --max-runs 4 \
  --table-key predictions

uv run python "$T" verify-preview \
  --run ENTITY/PROJECT/PREVIEW_RUN_ID \
  --table-key predictions_preview
```

## Safety

- `scan` and `preview --dry-run` are read-only. `preview` creates W&B runs,
  EvalTables, and Weave evaluations; run it only when the user requested a
  conversion.
- The helper caps tables at 10,000 rows and 100 columns, warns above 1,000
  rows, and refuses more than 50 eligible table artifacts for one key. Surface
  every cap; never imply a truncated preview is complete.
- Do not bypass helper failures with ad-hoc logging. Narrow or correct helper
  arguments, then retry only when the change is safe.
- Removal deletes both Weave evaluations and preview runs. Run
  `delete-preview --dry-run` first, verify every target is helper-created, and
  obtain confirmation before the irreversible invocation. Never delete source
  runs.

© wandb · Apache-2.0 · wandb/skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
setting-up-experiment-tracking Jeremy Longshore Скилл setting-up-experiment-tracking настраивает трекинг ML-экспериментов через MLflow или Weights & Biases: ставит пакеты, запускает сервер и даёт примеры кода для логирования метрик. CX Codex +1 1установок mlops-weights-and-biases Orchestra Research Скилл mlops-weights-and-biases помогает вести учёт ML-экспериментов в Weights & Biases: записывать метрики, сравнивать запуски и настраивать поиск гиперпараметров. CX Codex +1 63установок marimo-batch marimo-team Скилл marimo-batch переводит блокноты marimo в режим пакетного запуска через CLI и планировщик. Он добавляет типизацию параметров на Pydantic и сохраняет работу в веб-интерфейсе. CX Codex +1 3 800установок training-check wanshuiyin Скилл training-check для Claude Code периодически проверяет метрики WandB во время обучения, чтобы заметить NaN, расхождение loss или деградацию метрик до завершения запуска. CX Codex +1 536установок azure-mgmt-weightsandbiases-dotnet Microsoft Скилл azure-mgmt-weightsandbiases-dotnet для работы с Azure.ResourceManager.WeightsAndBiases: разворачивает инстансы Weights & Biases через Azure Marketplace и настраивает SSO. CX Codex +1 ★ 3 232звёзд репо write-code-eval ai-evals-course Скилл write-code-eval для Claude Code помогает написать кодовый оценщик для известного сбоя с проверяемым правилом. Используйте его для анализа трасс, когда результат можно проверить кодом. CX Codex +1 535установок

Из того же набора5

wandb-primary Скилл wandb-primary для Claude Code: обзор проектов Weights & Biases, runs и artifacts, трейсы Weave, отчёты, свипы. Разбирает запросы по категориям Brief (точечное чтение) и Intense (исследование с итерациями). CX Codex +1 1 800установок wandb-autoresearch Скилл wandb-autoresearch запускает серию обучающих экспериментов в W&B Launch, проверяет готовность кода и очередей, тестирует гипотезы и сохраняет состояние исследования. CX Codex +1 387установок agentlens-tracing-instrument Скилл agentlens-tracing-instrument для Claude Code и Cursor добавляет трассировку Forge AgentLens в агентов на Python или TypeScript. Запускается при запросе на отслеживание шагов агента, вызовов моделей, инструментов или субагентов. CX Codex +1 200установок weave-instrument Скилл weave-instrument для Claude Code добавляет трассировку Weave в Python- и TypeScript-приложения с LLM. Агент подключает его по просьбе инструментировать вызовы моделей, инструменты или ходы агента. CX Codex +1 197установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой