К основному содержанию
скилл CX Codex

tao-analyze-gaps-vlm-bcq — скилл для Claude Code

Скилл tao-analyze-gaps-vlm-bcq находит ложноположительные и ложноотрицательные ответы VLM в задачах бинарной классификации. Помогает подготовить отчёт об ошибках для пайплайнов TAO и DEFT.

Apache-2.0 1 600 установок ★ 4 106 обновлён 2026-10-30

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add NVIDIA/skills --skill tao-analyze-gaps-vlm-bcq -a claude-code
Открыть на GitHub

Что делает tao-analyze-gaps-vlm-bcq

Скилл сравнивает ответы VLM из JSON-файла с эталонной разметкой для вопросов формата да/нет. Вспомогательный скрипт prepare_vlm_bcq_spec.py генерирует YAML-спецификацию, после чего внутри контейнера TAO Data Services запускается команда gap_analysis vlm_bcq -e <spec>. Поиск ответов выполняется по границам слов: если в строке присутствуют одновременно «yes» и «no» либо нет ни одного из них, пример пропускается с предупреждением.

На выходе инструмент создаёт файл kpi_gaps.jsonl с описанием каждого сбоя и текстовый отчёт kpi_gaps_report.txt с общим количеством ошибок. Без видимого GPU запуск упадёт: хотя сам анализ не производит вычислений на видеокарте, образ контейнера Data Services обязательно выполняет вызов nvidia-smi.

Какие задачи решает

  • Выделить ложные срабатывания и пропуски из предсказаний VLM
  • Сформировать датасет ошибок kpi_gaps.jsonl для анализа первопричин в DEFT
  • Сгенерировать спецификацию vlm_bcq_spec.yaml для TAO Data Services
  • Подсчитать общее число неверных ответов модели в сводном отчёте

Примеры запросов агенту

  • Проанализируй ошибки VLM в файле /data/results.json относительно ground truth
  • Подготовь vlm_bcq_spec.yaml и найди все false positives в предсказаниях модели
  • Сделай gap analysis для бинарных ответов VLM через TAO Data Services

Как установить tao-analyze-gaps-vlm-bcq

1Через Skills CLI (Vercel)

npx skills add NVIDIA/skills --skill tao-analyze-gaps-vlm-bcq -a claude-code

2Вручную: положить файлы

~/.claude/skills/tao-analyze-gaps-vlm-bcq/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/tao-analyze-gaps-vlm-bcq/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о tao-analyze-gaps-vlm-bcq

Как установить tao-analyze-gaps-vlm-bcq в Claude Code?

Выполните команду npx skills add NVIDIA/skills --skill tao-analyze-gaps-vlm-bcq -a claude-code.

Что делает tao-analyze-gaps-vlm-bcq?

Он читает JSON-файл с ответами VLM, сопоставляет варианты yes и no с разметкой и выгружает список несовпадений в kpi_gaps.jsonl.

Нужен ли GPU для работы скилла?

Да, требуется ровно один доступный GPU. Анализ выполняется на CPU, но контейнер TAO Data Services завершится сбоем, если проверка через nvidia-smi не найдёт видеокарту.

Исходный текст

SKILL.md · Apache-2.0
---
name: tao-analyze-gaps-vlm-bcq
description: Extract false-positive and false-negative gaps from VLM binary-classification-question (BCQ, yes/no) predictions.
  Use when the user asks to "analyze VLM BCQ gaps", "extract VLM false positives and false negatives", or identify failure
  cases from a predictions JSON for DEFT root-cause analysis on a binary-classification VLM workflow.
license: Apache-2.0
compatibility: Requires Docker, NVIDIA Container Toolkit, and one visible GPU.
metadata:
  author: NVIDIA Corporation
  version: "0.1.0"
allowed-tools: Read Bash
tags:
- gap-analysis
- rcca
- vlm
- evaluation
- false-positive
- false-negative
---

# VLM Binary Classification Gap Analysis

> **Standalone install?** If this session was not initialized by the TAO skill bank plugin, run the `tao-setup` skill first (host preflight, credentials, cross-skill discovery).

Reads a VLM predictions JSON, compares each model response against ground truth, and writes FP/FN failure cases to a JSONL file with a summary report. Run it with a TAO Data Services spec file; the data-services entrypoint requires `-e <spec>`.

## Purpose

After running a VLM on a binary yes/no evaluation task, the predictions need to be compared against ground truth to identify failure cases. This skill produces a structured list of FP (false positive) and FN (false negative) samples that downstream RCCA stages (e.g., cosmos generation, root cause analysis) consume to drive a DEFT iteration.

## Usage

Generate a `vlm_bcq_spec.yaml` with the bundled helper:

```bash
python3 skills/data/tao-analyze-gaps-vlm-bcq/scripts/prepare_vlm_bcq_spec.py \
  --predictions-json /path/to/results.json \
  --videos-dir /path/to/videos/root \
  --results-dir /path/to/output/gaps \
  --output-spec /path/to/output/gaps/vlm_bcq_spec.yaml
```

Omit `--videos-dir` when prediction `video_id` values are already absolute. The generated spec has this shape:

```yaml
predictions_json: /path/to/results.json
videos_dir: ""
results_dir: /path/to/output/gaps
```

Set `videos_dir` when `video_id` values in the predictions are relative paths:

```yaml
predictions_json: /path/to/results.json
videos_dir: /path/to/videos/root
results_dir: /path/to/output/gaps
```

Invoke the `vlm_bcq` action inside the TAO Toolkit data services container with `-e <spec>`:

```bash
gap_analysis vlm_bcq -e /path/to/vlm_bcq_spec.yaml
```

Request exactly one GPU from the selected platform (`compute_shape.gpus: 1`,
`compute_shape.nodes: 1`). VLM BCQ gap analysis does not perform GPU compute,
but the Data Services image always calls `nvidia-smi` and fails when no GPU is
visible. One is a GPU count, not a device ID; the platform selects the device.

After the run, surface the FP/FN counts from `kpi_gaps_report.txt` and point downstream stages at `kpi_gaps.jsonl`.

## Inputs

- **config spec**: YAML file passed with `-e`. Template: `assets/default_vlm_bcq.yaml`.
- **predictions_json**: Path to predictions JSON file. Must be a JSON array where each item has `video_id`, `response`, and `gt` fields. `response` and `gt` are parsed with word-boundary matching — `'yes'` or `'no'` anywhere in the string is recognized. Samples where both or neither are present are skipped with a warning.
- **videos_dir** (optional): Base directory for resolving relative `video_id` paths. If omitted, `video_id` values are used as absolute paths.
- **results_dir**: Output directory for gap-analysis artifacts.

**Predictions JSON format:**
```json
[
  {
    "video_id": "/path/to/video.mp4",
    "response": "Yes, there is a collision.",
    "gt": "B. No",
    "question": "Is there a collision?"
  }
]
```

## Outputs

- **kpi_gaps.jsonl**: One JSON object per line for each FP/FN case. Fields: `video_id` (absolute path), `error_type` (`FP` or `FN`), `question`, `ground_truth`, `response`.
- **kpi_gaps_report.txt**: Human-readable table with total FP/FN counts.

If no gaps are found, no files are written and a message is logged.

## Spec Fields

| Parameter | Required | Description |
|-----------|----------|-------------|
| predictions_json | Yes | Path to predictions JSON file |
| results_dir | Yes | Output directory; created if it does not exist |
| videos_dir | No | Base directory for resolving relative `video_id` paths |

Keep the spec file and every path it references under the bind-mounted workspace so they resolve inside the container. Pass `-e <spec>` even if you also add Hydra overrides; current TAO Data Services entrypoints hard-require an experiment spec file before processing overrides.

## Error Patterns

| Error | Cause | Fix |
|-------|-------|-----|
| `FileNotFoundError` | `predictions_json` does not exist | Check the path |
| `requires the following argument: -e/--experiment_spec_file` | The container was launched without a spec file | Write `vlm_bcq_spec.yaml` and pass `gap_analysis vlm_bcq -e <spec>` |
| `ValueError: must be a JSON array` | Predictions file is not a list | Wrap predictions in `[...]` |
| `ValueError: missing 'gt'/'response'/'video_id'` | A prediction item is missing a required field | Inspect and fix the predictions JSON |
| Samples silently skipped | `response` or `gt` contains both or neither 'yes'/'no' | Check logs for warnings; inspect those samples |

© NVIDIA Corporation · Apache-2.0 · NVIDIA/skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
analyze UiPath Скилл analyze разбирает результаты прогона бенчмарка coder-eval, группирует ошибки по системным паттернам и формирует отчёт analysis.md с рекомендациями по исправлению. CX Codex +1 ★ 160звёзд репо VLM AnswerZhao Скилл VLM для Claude Code подключает распознавание изображений через z-ai-web-dev-sdk и CLI z-ai. Анализирует фото, извлекает текст и сравнивает графику на бэкенде. CX Codex +1 344установок ai-readiness-assessment OneWave-AI Скилл ai-readiness-assessment оценивает готовность бизнеса к внедрению ИИ по 6 направлениям и формирует подробный отчёт ai-readiness-report.md с анализом разрывов. CX Codex +1 260установок test-gaps ruvnet Скилл test-gaps находит пробелы в тестовом покрытии кода и предлагает готовые сценарии тестов. Пригодится после добавления новых фич или перед релизом. CX Codex +1 755установок langfuse langfuse Помогает настроить трейсинг, оценку и промпты в Langfuse прямо из чата с агентом. Пригодится при отладке вызовов моделей и сборе датасетов. CX Codex +1 21 400установок open-autoglm-phone-agent reason-machines Скилл open-autoglm-phone-agent для Claude Code, Codex, Cursor и других IDE обучает агента разворачивать Open-AutoGLM — фреймворк голосового управления Android, HarmonyOS NEXT и iOS через модель AutoGLM. CX Codex +1 1 400установок

Из того же набора312

Весь набор →
tao-train-mask2former Скилл tao-train-mask2former для Claude Code: обучение и прогон моделей Mask2Former в TAO — паноптическая, инстансная и семантическая сегментация из чата агента. CX Codex +1 1 600установок tao-train-dino Скилл tao-train-dino для Claude Code настраивает обучение и экспорт 2D-детектора DINO через NVIDIA TAO. Управляет пайплайном детекции объектов через агента. CX Codex +1 1 600установок tao-train-reid Скилл tao-train-reid ведёт работу с моделью TAO для сопоставления одного человека между камерами: обучение, оценку, инференс и экспорт. Для запуска нужны Docker и nvidia-container-toolkit. CX Codex +1 1 600установок tao-train-depth-anything-v2 Скилл tao-train-depth-anything-v2 для Claude Code обучает и запускает модели Depth Anything v2, предсказывающие глубину по пикселям одного RGB-снимка. Ведёт через подготовку данных и экспорт TAO-модели. CX Codex +1 1 600установок tao-train-pose-classification Скилл tao-train-pose-classification помогает обучать и запускать классификатор действий по последовательностям ключевых точек позы. Он пригодится для работы с моделями TAO на скелетных данных. CX Codex +1 1 600установок tao-train-action-recognition Скилл tao-train-action-recognition для Claude Code запускает TAO ActionRecognition в Docker: обучает, оценивает, выполняет инференс и экспортирует модели распознавания действий из видео. CX Codex +1 1 600установок tao-analyze-gaps-visual-changenet Скилл tao-analyze-gaps-visual-changenet запускает поиск слабых мест в экспериментах TAO VCN Classify через контейнер data-services. Помогает отобрать пограничные сэмплы для аугментации и доразметки. CX Codex +1 1 600установок tao-train-optical-inspection Скилл tao-train-optical-inspection обучает и запускает TAO-модель для поиска производственных дефектов по парам изображений. Подходит для AOI и контроля качества. CX Codex +1 1 600установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой