# error-discovery

Скилл для интерактивного разбора датасета с выводами LLM: строит UI для просмотра, отбирает разные примеры и помогает собрать типы сбоев.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1000 установок · ★ 1557
- Автор: ai-evals-course
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/ai-evals-course/evals-skills/tree/HEAD/skills/error-discovery/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/error-discovery

## Что делает

Скилл запускает сессию анализа ошибок на вашем датасете — JSONL, CSV или JSON с выводами LLM и трейсами. Сначала агент читает данные, разбирает поля и их типы, определяет структуру контента: одиночный текст, пары «вход/выход», многошаговые трейсы с ролями и вызовами инструментов, код или структурированный вывод. Затем он проектирует визуальное кодирование и собирает HTML-приложение для просмотра.

Внутри две части. Основной файл ведёт фазы с 1 по 4: чтение данных, дизайн интерфейса, сборка, отбор примеров. Пятая фаза — интерактивный просмотр — описана в `review-loop.md`, к нему агент переходит, когда приложение уже запущено и человек начал размечать. По ходу работы агент сообщает, что делает на каждом шаге, чтобы не молчать подолгу.

Скилл рассчитан только на интерактивные сессии. Дизайн интерфейса опирается на принципы гештальта: цвет — для ролей сообщений, отступы — для логических групп, прозрачность — для второстепенного контента. Важная деталь: приглушать стоит только повторяющийся или механический текст, а не целые роли — системные сообщения, результаты инструментов и блоки рассуждений тоже могут содержать настоящую ошибку.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill error-discovery -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/error-discovery/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/error-discovery/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill error-discovery -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/error-discovery/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill error-discovery -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/error-discovery/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install ai-evals-course/evals-skills error-discovery
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/error-discovery/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill error-discovery -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/ai-evals-course/evals-skills --path skills/error-discovery
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/error-discovery/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add ai-evals-course/evals-skills --skill error-discovery -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/ai-evals-course/evals-skills/tree/HEAD/skills/error-discovery/SKILL.md

## Когда брать
- разобрать датасет с выводами LLM и найти типы сбоев
- собрать HTML-интерфейс для просмотра записей и разметки
- отобрать разные примеры из датасета для ревью
- просматривать многошаговые трейсы агента с ролями и вызовами инструментов
- следить за ходом аннотаций во время сессии

## Примеры запросов агенту
- Запусти error-discovery на датасете outputs.jsonl и собери интерфейс для разбора
- Отбери разные примеры из traces.json и покажи их в UI для разметки
- Продолжи сессию разбора по review-loop.md, я начал размечать

## Похожие
- [error-coordinator](https://affpapa.org/nevibecode/agents/error-coordinator.md) — субагент · 205 установок
- [deepeval](https://affpapa.org/nevibecode/skills/deepeval.md) — скилл · 2800 установок
- [checkpoint-promotion](https://affpapa.org/nevibecode/skills/checkpoint-promotion.md) — скилл · 2600 установок
- [mandela](https://affpapa.org/nevibecode/skills/mandela.md) — скилл · 1300 установок
- [ai-system-testing](https://affpapa.org/nevibecode/skills/ai-system-testing.md) — скилл · 1100 установок
- [agent-observability-eval-pipeline](https://affpapa.org/nevibecode/skills/agent-observability-eval-pipeline.md) — скилл · 540 установок

Из того же набора: [ai-evals-course/evals-skills](https://affpapa.org/nevibecode/by/ai-evals-course/evals-skills.md) — 9 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md