# exploring-ai-failures

Скилл exploring-ai-failures читает реальные трейсы LLM-приложения в PostHog и превращает их в список режимов отказа, отсортированный по важности.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 198 установок · ★ 101 у репозитория
- Автор: PostHog
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/PostHog/ai-plugin/tree/HEAD/skills/exploring-ai-failures/SKILL.md
- Обновлён: 2026-11-10
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/exploring-ai-failures

## Что делает

Скилл ищет сбои в проде LLM-приложения и раскладывает их по режимам отказа. Главная сложность: большинство провалов молчит. Ответ приходит с HTTP 200, без исключения, но неверный, не по теме или с вызовом не того инструмента. В логах ошибок нет, а именно эти случаи обычно и важны.

Работа идёт в три шага. Сначала скоуп на один сценарий: у приложения своя таксономия трейсов, и чат поддержки ломается иначе, чем суммаризатор. Потом выбор, какие трейсы открывать: по `$ai_is_error`, по выбросам метрик (токены, длина, стоимость, задержка), по всплескам существующих evals или стратифицированной выборкой. Дальше чтение — 20–30 трейсов на сценарий через `query-llm-trace`; обязательный аргумент `traceId` берётся из ответа `query-llm-traces-list`. На выходе ранжированная таксономия отказов, а не список ошибок.

Инструменты идут с префиксом `posthog:` (`execute-sql`, `llma-evaluation-list`, `generate-app-url`), поэтому без подключённого MCP-сервера PostHog скилл ничего не прочитает. Тяжёлые поля вроде `$ai_input` и `$ai_output_choices` лежат не в `events`, а в `ai_events`: первый же SQL-запрос легко написать не туда. Детали по каждому способу отбора — в `references/finding-traces.md`, а для чтения одного трейса вглубь рядом есть `exploring-llm-traces`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/exploring-ai-failures/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/exploring-ai-failures/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/exploring-ai-failures/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/exploring-ai-failures/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install PostHog/ai-plugin skills/exploring-ai-failures
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/exploring-ai-failures/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/PostHog/ai-plugin --path skills/exploring-ai-failures
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/exploring-ai-failures/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/PostHog/ai-plugin/tree/HEAD/skills/exploring-ai-failures/SKILL.md

## Когда брать
- найти молчаливые сбои, которые не пишут error
- разложить трейсы одного сценария по режимам отказа
- отобрать подозрительные трейсы по длине, стоимости и задержке
- понять, какую правку промпта делать первой
- превратить частый режим отказа в автоматическую eval

## Примеры запросов агенту
- Посмотри, что ломается в агенте на проде: открой трейсы и собери режимы отказа
- Почему бот отвечает мимо? Прочитай трейсы за сегодня и покажи, где ответы уходят не по теме
- Собери ранжированный список отказов по одному сценарию и подскажи, что чинить первым

## Похожие
- [exploring-llm-traces](https://affpapa.org/nevibecode/skills/exploring-llm-traces.md) — скилл · 440 установок
- [exploring-llm-evaluations](https://affpapa.org/nevibecode/skills/exploring-llm-evaluations.md) — скилл · 440 установок
- [langsmith-experiment-diagnosis](https://affpapa.org/nevibecode/skills/langsmith-experiment-diagnosis.md) — скилл · 184 установки
- [agent-observability-session-classify](https://affpapa.org/nevibecode/skills/agent-observability-session-classify.md) — скилл · 665 установок
- [agent-observability-eval-pipeline](https://affpapa.org/nevibecode/skills/agent-observability-eval-pipeline.md) — скилл · 674 установки
- [langfuse](https://affpapa.org/nevibecode/plugins/aviv-sinai-langfuse.md) — плагин · ★ 1596 у репозитория

Из того же набора: [posthog/ai-plugin](https://affpapa.org/nevibecode/by/posthog/ai-plugin.md) — 82 карточки

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
