exploring-ai-failures — скилл для Claude Code: разбор сбоев LLM
Скилл exploring-ai-failures читает реальные трейсы LLM-приложения в PostHog и превращает их в список режимов отказа, отсортированный по важности.
лицензия не указана 198 установок ★ 101 обновлён 2026-11-10
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-codeЧто делает exploring-ai-failures
Скилл ищет сбои в проде LLM-приложения и раскладывает их по режимам отказа. Главная сложность: большинство провалов молчит. Ответ приходит с HTTP 200, без исключения, но неверный, не по теме или с вызовом не того инструмента. В логах ошибок нет, а именно эти случаи обычно и важны.
Работа идёт в три шага. Сначала скоуп на один сценарий: у приложения своя таксономия трейсов, и чат поддержки ломается иначе, чем суммаризатор. Потом выбор, какие трейсы открывать: по $ai_is_error, по выбросам метрик (токены, длина, стоимость, задержка), по всплескам существующих evals или стратифицированной выборкой. Дальше чтение — 20–30 трейсов на сценарий через query-llm-trace; обязательный аргумент traceId берётся из ответа query-llm-traces-list. На выходе ранжированная таксономия отказов, а не список ошибок.
Инструменты идут с префиксом posthog: (execute-sql, llma-evaluation-list, generate-app-url), поэтому без подключённого MCP-сервера PostHog скилл ничего не прочитает. Тяжёлые поля вроде $ai_input и $ai_output_choices лежат не в events, а в ai_events: первый же SQL-запрос легко написать не туда. Детали по каждому способу отбора — в references/finding-traces.md, а для чтения одного трейса вглубь рядом есть exploring-llm-traces.
Какие задачи решает
- найти молчаливые сбои, которые не пишут error
- разложить трейсы одного сценария по режимам отказа
- отобрать подозрительные трейсы по длине, стоимости и задержке
- понять, какую правку промпта делать первой
- превратить частый режим отказа в автоматическую eval
Примеры запросов агенту
- Посмотри, что ломается в агенте на проде: открой трейсы и собери режимы отказа
- Почему бот отвечает мимо? Прочитай трейсы за сегодня и покажи, где ответы уходят не по теме
- Собери ранжированный список отказов по одному сценарию и подскажи, что чинить первым
Как установить exploring-ai-failures
1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-code2Вручную: положить файлы
~/.claude/skills/exploring-ai-failures/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/exploring-ai-failures/
1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a codex2Вручную: положить файлы
.agents/skills/exploring-ai-failures/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a cursor2Вручную: положить файлы
.cursor/skills/exploring-ai-failures/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install PostHog/ai-plugin skills/exploring-ai-failures2Вручную: положить файлы
.github/skills/exploring-ai-failures/SKILL.md1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a gemini-cli2Командой платформы
gemini skills install https://github.com/PostHog/ai-plugin --path skills/exploring-ai-failuresВручную: положить файлы
.devin/skills/exploring-ai-failures/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об exploring-ai-failures
Как установить exploring-ai-failures в Claude Code?
Выполни npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-code. Файл скилла появится в ~/.claude/skills/exploring-ai-failures/SKILL.md.
Что делает exploring-ai-failures?
Читает реальные трейсы LLM-приложения в PostHog и превращает их в ранжированную таксономию режимов отказа. Смотрит и явные ошибки, и тихие ответы, которые пришли с кодом 200.
Что нужно, чтобы скилл заработал?
Подключённый MCP-сервер PostHog: запросы идут через query-llm-traces-list, query-llm-trace и execute-sql. Без них читать трейсы нечем.