К основному содержанию
скилл CX Codex

ai-eval-playbook — скилл для Claude Code: оценка ИИ

Скилл ai-eval-playbook для Claude Code помогает оценивать ИИ-инструменты, чат-боты и GenAI-продукты. Подключается к вопросам о метриках, результатах и оценке предложения по ИИ-инструменту.

лицензия не указана 118 установок ★ 3 обновлён 2026-10-23

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a claude-code
Открыть на GitHub

Что делает ai-eval-playbook

Скилл помогает разобрать оценку ИИ-продукта по четырём уровням: модель, продукт, пользователь и влияние. Он охватывает минимальную оценку, золотые наборы данных, оценку ответов другой языковой моделью, метрики вовлечения и защитные метрики.

Перед содержательным ответом скилл требует загрузить актуальную версию руководства с https://eval.playbook.org.ai/. Для этого предусмотрены WebFetch, ctx_fetch_and_index, а в качестве запасного варианта — claude-in-chrome. Руководство не предназначено для проектирования оценки программ и MEL или для применения ИИ как рабочего инструмента оценщика.

Какие задачи решает

  • выбрать уровень оценки ИИ-продукта
  • определить метрики для чат-бота
  • оценить предложение по внедрению ИИ-инструмента

Примеры запросов агенту

  • Как оценить, работает ли этот ИИ-инструмент?
  • Какие метрики выбрать для оценки чат-бота?
  • Разбери предложение партнёра по ИИ-инструменту и предложи план оценки.

Как установить ai-eval-playbook

1Через Skills CLI (Vercel)

npx skills add gasserane/personal-skills --skill ai-eval-playbook -a claude-code

2Вручную: положить файлы

~/.claude/skills/ai-eval-playbook/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/ai-eval-playbook/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об ai-eval-playbook

Как установить ai-eval-playbook в Claude Code?

Выполни npx skills add gasserane/personal-skills --skill ai-eval-playbook -a claude-code. Файл скилла находится по пути ~/.claude/skills/ai-eval-playbook/SKILL.md.

Что делает ai-eval-playbook?

Помогает оценивать ИИ-модели и продукты по четырём уровням: от работы модели до влияния на результаты. Рассматривает метрики, тестовые наборы и защиту от возможного вреда.

Что нужно для работы ai-eval-playbook?

Для содержательного ответа требуется загрузить актуальную версию руководства с https://eval.playbook.org.ai/. Скилл предлагает использовать WebFetch, ctx_fetch_and_index или claude-in-chrome.

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
gsd-eval-review open-gsd Скилл gsd-eval-review для Claude Code проверяет, покрывает ли оценка завершённую фазу AI-проекта. По итогам он создаёт план исправлений в EVAL-REVIEW.md. CX Codex +1 570установок agent-platform-eval-flywheel официальный google Скилл agent-platform-eval-flywheel оценивает GenAI-модели и агентов в Google Cloud через SDK Agent Platform. Запускается при подготовке датасетов, расчёте метрик качества и сравнении результатов до и после правок. CX Codex +1 8 334установок google-agents-cli-eval официальный Google Скилл google-agents-cli-eval оценивает качество ИИ-агентов через agents-cli, находит ошибки и сравнивает прогоны. Включается при отладке датасетов и проверке метрик в проектах на базе Gemini. CX Codex +1 586 000установок searching-mlflow-docs mlflow Скилл searching-mlflow-docs находит официальную документацию MLflow по трейсингу и GenAI через индекс llms.txt и забирает чистые примеры кода. CX Codex +1 1 100установок eval-driven-dev официальный github Скилл eval-driven-dev для GitHub Copilot строит оценочный процесс для Python-приложений с LLM. Он подключается к запросам на QA, тесты, бенчмарки и исправление неверного поведения. CX Codex +1 3 900установок eval-harness-first Seth Hobson Скилл eval-harness-first для Claude Code, Codex и Cursor строит оценочный каркас перед запуском fine-tuning: золотые наборы, грейдеры по типам ошибок, калибровку судей и базовый замер модели. CX Codex +1 2 600установок

Из того же набора44

Весь набор →
linkedin-field-note Скилл linkedin-field-note для Claude Code ведёт полный цикл подготовки постов серии AI Field Notes для LinkedIn: от выбора темы и интервью до вёрстки материалов и публикации. CX Codex +1 219установок donor-proposal-scoring Скилл donor-proposal-scoring для Claude Code оценивает грантовую заявку по критериям донора. Сверяет баллы с порогами конкурса или сопоставляет оценку с отчётом донора. CX Codex +1 182установок office-repair Скилл office-repair для Claude Code точечно чинит книги Excel через COM с сохранением срезов или делает вручную отредактированный документ Office каноническим источником. CX Codex +1 144установок office-review-pass Скилл office-review-pass проводит .docx через цикл ревью: читает чужие комментарии, вписывает замечания в поля и ставит настоящие правки Word, которые можно принять или отклонить. CX Codex +1 144установок selection-toolkit Скилл selection-toolkit собирает рабочие книги Excel для проведения конкурса или многокритериальной оценки. Создаёт мастер-книгу и отдельные файлы для каждого члена комиссии, запускает взвешенное оценивание по опубликованным критериям. CX Codex +1 135установок contract-delivery-kickoff Скилл contract-delivery-kickoff собирает по договору с подрядчиком пакет к первой рабочей сессии: книгу с разбивкой дней под потолок контракта, внутренний бриф, повестку и шаблон заметок. CX Codex +1 134установок literature Скилл literature для Claude Code ищет научные публикации через OpenAlex. Он запускается для поиска источников, проверки новизны вопроса или карты ключевых работ. CX Codex +1 130установок media-to-roadmap Скилл media-to-roadmap для Claude Code превращает внешние материалы об ИИ и разработке в план улучшений системы. Он запускается по ссылке или просьбе разобрать видео, подкаст, статью либо тред. CX Codex +1 123установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой