К основному содержанию
скилл CX Codex

exploring-ai-failures — скилл для Claude Code: разбор сбоев LLM

Скилл exploring-ai-failures читает реальные трейсы LLM-приложения в PostHog и превращает их в список режимов отказа, отсортированный по важности.

лицензия не указана 198 установок ★ 101 обновлён 2026-11-10

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-code
Открыть на GitHub

Что делает exploring-ai-failures

Скилл ищет сбои в проде LLM-приложения и раскладывает их по режимам отказа. Главная сложность: большинство провалов молчит. Ответ приходит с HTTP 200, без исключения, но неверный, не по теме или с вызовом не того инструмента. В логах ошибок нет, а именно эти случаи обычно и важны.

Работа идёт в три шага. Сначала скоуп на один сценарий: у приложения своя таксономия трейсов, и чат поддержки ломается иначе, чем суммаризатор. Потом выбор, какие трейсы открывать: по $ai_is_error, по выбросам метрик (токены, длина, стоимость, задержка), по всплескам существующих evals или стратифицированной выборкой. Дальше чтение — 20–30 трейсов на сценарий через query-llm-trace; обязательный аргумент traceId берётся из ответа query-llm-traces-list. На выходе ранжированная таксономия отказов, а не список ошибок.

Инструменты идут с префиксом posthog: (execute-sql, llma-evaluation-list, generate-app-url), поэтому без подключённого MCP-сервера PostHog скилл ничего не прочитает. Тяжёлые поля вроде $ai_input и $ai_output_choices лежат не в events, а в ai_events: первый же SQL-запрос легко написать не туда. Детали по каждому способу отбора — в references/finding-traces.md, а для чтения одного трейса вглубь рядом есть exploring-llm-traces.

Какие задачи решает

  • найти молчаливые сбои, которые не пишут error
  • разложить трейсы одного сценария по режимам отказа
  • отобрать подозрительные трейсы по длине, стоимости и задержке
  • понять, какую правку промпта делать первой
  • превратить частый режим отказа в автоматическую eval

Примеры запросов агенту

  • Посмотри, что ломается в агенте на проде: открой трейсы и собери режимы отказа
  • Почему бот отвечает мимо? Прочитай трейсы за сегодня и покажи, где ответы уходят не по теме
  • Собери ранжированный список отказов по одному сценарию и подскажи, что чинить первым

Как установить exploring-ai-failures

1Через Skills CLI (Vercel)

npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-code

2Вручную: положить файлы

~/.claude/skills/exploring-ai-failures/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/exploring-ai-failures/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об exploring-ai-failures

Как установить exploring-ai-failures в Claude Code?

Выполни npx skills add PostHog/ai-plugin --skill exploring-ai-failures -a claude-code. Файл скилла появится в ~/.claude/skills/exploring-ai-failures/SKILL.md.

Что делает exploring-ai-failures?

Читает реальные трейсы LLM-приложения в PostHog и превращает их в ранжированную таксономию режимов отказа. Смотрит и явные ошибки, и тихие ответы, которые пришли с кодом 200.

Что нужно, чтобы скилл заработал?

Подключённый MCP-сервер PostHog: запросы идут через query-llm-traces-list, query-llm-trace и execute-sql. Без них читать трейсы нечем.

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
exploring-llm-traces PostHog Скилл exploring-llm-traces для Claude Code разбирает трассы LLM-агентов через инструменты PostHog MCP. Запускается по ссылке на трассу или сессию, а также при вопросах об ошибках, инструментах, контексте и расходе токенов. CX Codex +1 440установок exploring-llm-evaluations PostHog Скилл exploring-llm-evaluations для работы с оценками AI-наблюдаемости в PostHog: находит конфиги, запускает их на конкретных генерациях и настраивает отчёты. CX Codex +1 440установок langsmith-experiment-diagnosis langchain-ai Скилл langsmith-experiment-diagnosis для Claude Code и Codex разбирает результаты экспериментов в LangSmith через официальную CLI. Находит примеры с низкими оценками эвалюаторов и показывает причины ошибок. CX Codex +1 184установок agent-observability-session-classify datadog-labs Скилл agent-observability-session-classify оценивает удовлетворённость пользователя в трейсах и сессиях Datadog Agent Observability. Возвращает вердикт yes, partial или no с коротким пояснением. CX Codex +1 665установок agent-observability-eval-pipeline datadog-labs Скилл agent-observability-eval-pipeline ведёт инструментированное ml_app по шести фазам: классификация трейсов, разбор сбоев, бутстрап эвалуаторов, датасет, эксперимент и анализ. CX Codex +1 674установок langfuse Aviv Sinai Плагин подключает MCP-сервер Langfuse: ищет трейсы, исключения и медленные сессии, управляет промптами и датасетами через 48 инструментов. CX Codex ★ 1 596звёзд репо

Из того же набора82

Весь набор →
signals-scout-apm Скилл signals-scout-apm ловит регрессии в трассировках PostHog: доля ошибок и p95 по сервисам, новые сигнатуры ошибок, обрывы трафика. Отчёт пишет, только когда сдвиг подтверждён. CX Codex +1 202установок exploring-mcp-tool-usage Скилл exploring-mcp-tool-usage предлагает вопросы об использовании инструментов MCP-сервера в PostHog и направляет к запросу для выбранного разбора. CX Codex +1 200установок checking-deploy-timing Скилл checking-deploy-timing отвечает, когда коммит или PR доехал до prod-us или prod-eu: читает скрытые аннотации деплоя PostHog и сверяет их с merge-коммитом на GitHub. CX Codex +1 200установок setting-up-a-custom-rest-source Скилл setting-up-a-custom-rest-source для Claude Code и Codex помогает подключить любой сторонний REST API к хранилищу PostHog через JSON-манифест без написания отдельного кода. Включается при запросах на синхронизацию внешних API. CX Codex +1 199установок resolving-ingestion-warnings Скилл resolving-ingestion-warnings для Claude Code разбирает предупреждения ingestion в PostHog: упавшие события, отклонённые слияния профилей и слишком большие payload. CX Codex +1 197установок exploring-scouts Скилл exploring-scouts разбирает, чем заняты разведчики PostHog Signals: какие заведены в проекте, как прошли последние запуски и какие отчёты они оставили. Только чтение. CX Codex +1 197установок debugging-surveys Скилл debugging-surveys для Claude Code разбирает, почему PostHog Surveys не показывается или сохраняет неполные ответы. Разбирает тикеты по настройке, таргетингу и SDK. CX Codex +1 197установок authoring-scouts Скилл authoring-scouts помогает создавать и настраивать скаутов PostHog Signals — фоновых агентов, которые проверяют проект по расписанию и формируют отчёты. CX Codex +1 196установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой