creating-online-evaluations — скилл для Claude Code
Скилл creating-online-evaluations для Claude Code, который превращает найденные в проде сбои в постоянно работающие онлайн-оценки PostHog. Запускается, когда нужно автоматически проверять новые генерации на конкретные ошибки.
лицензия не указана 195 установок ★ 101 обновлён 2026-11-10
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a claude-codeЧто делает creating-online-evaluations
Скилл берёт реальные проблемные паттерны из трафика и превращает их в оценки, которые автоматически проверяют каждую подходящую генерацию или весь трейс.
Один сбой — одна оценка. Сколько их создавать, решают данные из трасс: иногда одна, часто три-четыре. Скилл сначала предлагает пользователю список кандидатов, и только выбранные пункты идут в работу. Создание невыбранных оценок тратит деньги и шумит в данных.
Перед запуском нужно найти и отранжировать сами сбои — для этого есть отдельный скилл exploring-ai-failures. Без списка конкретных ошибок этот скилл не стартует. Оценки создаются выключенными, затем проверяется их охват, включаются и при необходимости прогоняются по прошлым данным.
Какие задачи решает
- превратить найденные сбои в постоянно работающие оценки
- проверить, что ответ не уходит от темы пользователя
- поймать вызов инструмента без обязательного параметра
- выбрать тип оценки: hog, llm_judge или sentiment
- прогнать оценку по прошлым данным через backfill
Примеры запросов агенту
- Создай оценку, которая ловит ответы не по теме запроса
- Преврати эти сбои из трасс в онлайн-оценки, предложи список
- Настрой llm_judge с провайдером и моделью из доступных комбинаций
Как установить creating-online-evaluations
1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a claude-code2Вручную: положить файлы
~/.claude/skills/creating-online-evaluations/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/creating-online-evaluations/
1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a codex2Вручную: положить файлы
.agents/skills/creating-online-evaluations/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a cursor2Вручную: положить файлы
.cursor/skills/creating-online-evaluations/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install PostHog/ai-plugin skills/creating-online-evaluations2Вручную: положить файлы
.github/skills/creating-online-evaluations/SKILL.md1Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a gemini-cli2Командой платформы
gemini skills install https://github.com/PostHog/ai-plugin --path skills/creating-online-evaluationsВручную: положить файлы
.devin/skills/creating-online-evaluations/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о creating-online-evaluations
Как установить creating-online-evaluations в Claude Code?
Выполни npx skills add PostHog/ai-plugin --skill creating-online-evaluations -a claude-code, затем открой ~/.claude/skills/creating-online-evaluations/SKILL.md.
Что делает creating-online-evaluations?
Превращает найденные в проде сбои в онлайн-оценки PostHog, которые автоматически проверяют новые генерации или целые трейсы. Сначала предлагает список кандидатов, потом создаёт выбранные.
Чем отличается от exploring-ai-failures?
exploring-ai-failures находит и ранжирует сбои в трассах, а creating-online-evaluations превращает эти сбои в оценки. Если сбои ещё не найдены, сначала запускается первый скилл.