К основному содержанию
скилл CX Codex

creating-online-evaluations — скилл для Claude Code

Скилл creating-online-evaluations для Claude Code, который превращает найденные в проде сбои в постоянно работающие онлайн-оценки PostHog. Запускается, когда нужно автоматически проверять новые генерации на конкретные ошибки.

лицензия не указана 195 установок ★ 101 обновлён 2026-11-10

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a claude-code
Открыть на GitHub

Что делает creating-online-evaluations

Скилл берёт реальные проблемные паттерны из трафика и превращает их в оценки, которые автоматически проверяют каждую подходящую генерацию или весь трейс.

Один сбой — одна оценка. Сколько их создавать, решают данные из трасс: иногда одна, часто три-четыре. Скилл сначала предлагает пользователю список кандидатов, и только выбранные пункты идут в работу. Создание невыбранных оценок тратит деньги и шумит в данных.

Перед запуском нужно найти и отранжировать сами сбои — для этого есть отдельный скилл exploring-ai-failures. Без списка конкретных ошибок этот скилл не стартует. Оценки создаются выключенными, затем проверяется их охват, включаются и при необходимости прогоняются по прошлым данным.

Какие задачи решает

  • превратить найденные сбои в постоянно работающие оценки
  • проверить, что ответ не уходит от темы пользователя
  • поймать вызов инструмента без обязательного параметра
  • выбрать тип оценки: hog, llm_judge или sentiment
  • прогнать оценку по прошлым данным через backfill

Примеры запросов агенту

  • Создай оценку, которая ловит ответы не по теме запроса
  • Преврати эти сбои из трасс в онлайн-оценки, предложи список
  • Настрой llm_judge с провайдером и моделью из доступных комбинаций

Как установить creating-online-evaluations

1Через Skills CLI (Vercel)

npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a claude-code

2Вручную: положить файлы

~/.claude/skills/creating-online-evaluations/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/creating-online-evaluations/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о creating-online-evaluations

Как установить creating-online-evaluations в Claude Code?

Выполни npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a claude-code, затем открой ~/.claude/skills/creating-online-evaluations/SKILL.md.

Что делает creating-online-evaluations?

Превращает найденные в проде сбои в онлайн-оценки PostHog, которые автоматически проверяют новые генерации или целые трейсы. Сначала предлагает список кандидатов, потом создаёт выбранные.

Чем отличается от exploring-ai-failures?

exploring-ai-failures находит и ранжирует сбои в трассах, а creating-online-evaluations превращает эти сбои в оценки. Если сбои ещё не найдены, сначала запускается первый скилл.

Похожие скиллы

Все скиллы по теме «Настройка агента: память, контекст, субагенты» →
exploring-llm-evaluations PostHog Скилл exploring-llm-evaluations для работы с оценками AI-наблюдаемости в PostHog: находит конфиги, запускает их на конкретных генерациях и настраивает отчёты. CX Codex +1 440установок creating-replay-vision-scanners PostHog Скилл creating-replay-vision-scanners настраивает сканеры Replay Vision в PostHog и рассчитывает расход кредитов перед запуском фонового анализа сессий. CX Codex +1 326установок agent-observability-online-experiment datadog-labs Скилл agent-observability-online-experiment для Claude Code запускает онлайн A/B-тесты LLM-приложений и сравнивает версии промптов или моделей на реальном трафике. CX Codex +1 170установок agent-observability-eval-pipeline datadog-labs Скилл agent-observability-eval-pipeline ведёт инструментированное ml_app по шести фазам: классификация трейсов, разбор сбоев, бутстрап эвалуаторов, датасет, эксперимент и анализ. CX Codex +1 674установок future-agi-platform reason-machines Скилл future-agi-platform учит агента работать с Future AGI: подключать трейсинг, прогонять метрики оценки, разворачивать платформу у себя. CX Codex +1 315установок evals-start ai-evals-course Скилл evals-start для Claude Code направляет запросы по оценке ИИ-системы в специализированные скиллы. При неясной исходной ситуации определяет, с чего начать и какой сценарий выбрать. CX Codex +1 959установок

Из того же набора82

Весь набор →
resolving-ingestion-warnings Скилл resolving-ingestion-warnings для Claude Code разбирает предупреждения ingestion в PostHog: упавшие события, отклонённые слияния профилей и слишком большие payload. CX Codex +1 197установок exploring-scouts Скилл exploring-scouts разбирает, чем заняты разведчики PostHog Signals: какие заведены в проекте, как прошли последние запуски и какие отчёты они оставили. Только чтение. CX Codex +1 197установок debugging-surveys Скилл debugging-surveys для Claude Code разбирает, почему PostHog Surveys не показывается или сохраняет неполные ответы. Разбирает тикеты по настройке, таргетингу и SDK. CX Codex +1 197установок authoring-scouts Скилл authoring-scouts помогает создавать и настраивать скаутов PostHog Signals — фоновых агентов, которые проверяют проект по расписанию и формируют отчёты. CX Codex +1 196установок signals-scout-insight-alerts Скилл signals-scout-insight-alerts для Claude Code, Codex и Cursor разбирает историю срабатывания алертов в PostHog. Он находит пропущенные инциденты и отсекает шум, когда пороги метрик пробиты без отправки уведомлений команде. CX Codex +1 195установок signals-scout-data-warehouse Скилл signals-scout-data-warehouse следит за импортами в хранилище, находит сбои и устаревшие данные, а также подсказывает кандидатов для материализованных представлений. CX Codex +1 195установок signals-scout-mcp-tool-calls Скилл signals-scout-mcp-tool-calls для агента PostHog Signals: ищет MCP-инструменты, с которыми агенты работают грязно, и раскладывает находки по категориям продуктов. CX Codex +1 194установок signals-scout-web-vitals Скилл signals-scout-web-vitals отслеживает p75 LCP, INP, CLS и FCP страниц по событиям PostHog, находит просадки скорости и сопоставляет их с релизами или выкаткой флагов. CX Codex +1 194установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой