wandb-eval-tables — скилл для Claude Code: что делает и как установить
Скилл wandb-eval-tables преобразует артефакты wandb.Table в превью wandb.EvalTable без перезаписи исходных запусков и таблиц.
Apache-2.0 393 установок ★ 76 обновлён 2026-10-23
npx skills add wandb/skills --skill wandb-eval-tables -a claude-codeЧто делает wandb-eval-tables
Скилл запускает встроенный скрипт table_artifact_to_eval_table.py через uv. Рабочий процесс строго разбит на шаги: сначала выполняется предварительное сканирование scan для проверки форм таблиц и предупреждений, затем создаётся превью для одного ключа таблицы, а в конце вызывается verify-preview для подтверждения целостности созданного запуска. Все промежуточные загрузки происходят во временную директорию ОС.
Превью не трогает исходные данные, а создаёт новые запуски W&B и вычисления Weave. Скрипт требует SDK wandb[workspaces]>=0.28.1 и weave, а авторизация берётся из переменных окружения WANDB_API_KEY, WANDB_ENTITY и WANDB_PROJECT или явных параметров командной строки.
Утилита ставит жёсткие лимиты: максимум 10 000 строк и 100 колонок на таблицу, выдаёт предупреждение при превышении 1 000 строк и отказывается обрабатывать больше 50 артефактов для одного ключа.
Какие задачи решает
- просканировать артефакты wandb.Table перед конвертацией в EvalTable
- сгенерировать изолированные превью EvalTable без повреждения оригиналов
- проверить корректность созданных запусков командой verify-preview
- безопасно удалить сгенерированные превью и оценки Weave
Примеры запросов агенту
- Выполни scan для проекта wandb-evals/benchmark через скрипт wandb-eval-tables
- Создай превью EvalTable для ключа таблицы predictions с лимитом max-runs 4
- Проверь созданный запуск run-42 командой verify-preview
Как установить wandb-eval-tables
1Через Skills CLI (Vercel)
npx skills add wandb/skills --skill wandb-eval-tables -a claude-code2Вручную: положить файлы
~/.claude/skills/wandb-eval-tables/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/wandb-eval-tables/
1Через Skills CLI (Vercel)
npx skills add wandb/skills --skill wandb-eval-tables -a codex2Вручную: положить файлы
.agents/skills/wandb-eval-tables/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add wandb/skills --skill wandb-eval-tables -a cursor2Вручную: положить файлы
.cursor/skills/wandb-eval-tables/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install wandb/skills skills/wandb-eval-tables2Вручную: положить файлы
.github/skills/wandb-eval-tables/SKILL.md1Через Skills CLI (Vercel)
npx skills add wandb/skills --skill wandb-eval-tables -a gemini-cli2Командой платформы
gemini skills install https://github.com/wandb/skills --path skills/wandb-eval-tablesВручную: положить файлы
.devin/skills/wandb-eval-tables/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add wandb/skills --skill wandb-eval-tables -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о wandb-eval-tables
Как установить wandb-eval-tables в Claude Code?
Выполните команду npx skills add wandb/skills --skill wandb-eval-tables -a claude-code. Файл навыка сохранится по пути ~/.claude/skills/wandb-eval-tables/SKILL.md.
Что делает скилл wandb-eval-tables?
Он помогает агенту анализировать артефакты wandb.Table, преобразовывать их в формат wandb.EvalTable в отдельных запусках и верифицировать результат.
Какие зависимости нужны для запуска скрипта?
Понадобятся uv, пакет wandb[workspaces]>=0.28.1 и библиотека weave, а также ключ API через переменную WANDB_API_KEY.
Исходный текст
SKILL.md · Apache-2.0
--- name: wandb-eval-tables description: "Convert W&B Table artifacts into non-destructive EvalTable previews with scan-first planning, typed input/output/score columns, bounded batches, verification, and safe removal. Use when a coding agent needs to create, inspect, compare, verify, or remove W&B EvalTable previews." --- <!-- SPDX-FileCopyrightText: 2026 CoreWeave, Inc. SPDX-License-Identifier: Apache-2.0 SPDX-PackageName: skills --> # W&B EvalTable previews Use the bundled helper to preview existing `wandb.Table` data as `wandb.EvalTable` data. A preview creates new runs and keys; it never overwrites the source runs or tables. Read `references/EVAL_TABLES.md` before converting. It is the canonical source for EvalTable semantics, source selection, limits, column roles, verification, and removal. ## Environment Run the helper from an environment that provides a W&B SDK with `wandb.EvalTable` and Weave. Use `uv` to supply missing dependencies: ```bash uv run --with 'wandb[workspaces]>=0.28.1' --with weave \ python skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py --help ``` Credentials and default scope may come from `WANDB_API_KEY`, `WANDB_ENTITY`, and `WANDB_PROJECT`; otherwise pass explicit entity/project arguments. Downloads use the operating system's temporary directory, not a fixed current working directory. ## Required workflow 1. Choose the narrowest source that matches the request: exact artifact, one run, one sweep, or a project/workspace. Do not broaden an explicitly named source. 2. Run `scan`. This is read-only preflight and is not proof of conversion. 3. Review `eligible_summary_by_table_key`, table shapes, truncations, warnings, and existing-preview metadata. Select one table key unless the user asks for a broader batch. 4. Classify columns only when confident. Input tuples must uniquely identify rows; score columns must be numeric or boolean; free-text labels and rationales are outputs. Leave ambiguous tables untyped. 5. Run `preview` for exactly one `--table-key` per invocation. Keep the target in the source project unless the user requests another writable project. 6. If runs were created, run `verify-preview` on the final created run and the exact logged key. Report success only when it returns `verified: true`. 7. Report created and skipped sources plus every truncation or failed check. ```bash T=skills/wandb-eval-tables/scripts/table_artifact_to_eval_table.py uv run python "$T" scan \ --source-workspace ENTITY/PROJECT --max-runs 4 uv run python "$T" preview \ --source-workspace ENTITY/PROJECT \ --target-project ENTITY/PROJECT \ --max-runs 4 \ --table-key predictions uv run python "$T" verify-preview \ --run ENTITY/PROJECT/PREVIEW_RUN_ID \ --table-key predictions_preview ``` ## Safety - `scan` and `preview --dry-run` are read-only. `preview` creates W&B runs, EvalTables, and Weave evaluations; run it only when the user requested a conversion. - The helper caps tables at 10,000 rows and 100 columns, warns above 1,000 rows, and refuses more than 50 eligible table artifacts for one key. Surface every cap; never imply a truncated preview is complete. - Do not bypass helper failures with ad-hoc logging. Narrow or correct helper arguments, then retry only when the change is safe. - Removal deletes both Weave evaluations and preview runs. Run `delete-preview --dry-run` first, verify every target is helper-created, and obtain confirmation before the irreversible invocation. Never delete source runs.
© wandb · Apache-2.0 · wandb/skills