ai-eval-playbook — скилл для Claude Code: оценка ИИ
Скилл ai-eval-playbook для Claude Code помогает оценивать ИИ-инструменты, чат-боты и GenAI-продукты. Подключается к вопросам о метриках, результатах и оценке предложения по ИИ-инструменту.
лицензия не указана 118 установок ★ 3 обновлён 2026-10-23
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a claude-codeЧто делает ai-eval-playbook
Скилл помогает разобрать оценку ИИ-продукта по четырём уровням: модель, продукт, пользователь и влияние. Он охватывает минимальную оценку, золотые наборы данных, оценку ответов другой языковой моделью, метрики вовлечения и защитные метрики.
Перед содержательным ответом скилл требует загрузить актуальную версию руководства с https://eval.playbook.org.ai/. Для этого предусмотрены WebFetch, ctx_fetch_and_index, а в качестве запасного варианта — claude-in-chrome. Руководство не предназначено для проектирования оценки программ и MEL или для применения ИИ как рабочего инструмента оценщика.
Какие задачи решает
- выбрать уровень оценки ИИ-продукта
- определить метрики для чат-бота
- оценить предложение по внедрению ИИ-инструмента
Примеры запросов агенту
- Как оценить, работает ли этот ИИ-инструмент?
- Какие метрики выбрать для оценки чат-бота?
- Разбери предложение партнёра по ИИ-инструменту и предложи план оценки.
Как установить ai-eval-playbook
1Через Skills CLI (Vercel)
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a claude-code2Вручную: положить файлы
~/.claude/skills/ai-eval-playbook/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/ai-eval-playbook/
1Через Skills CLI (Vercel)
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a codex2Вручную: положить файлы
.agents/skills/ai-eval-playbook/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a cursor2Вручную: положить файлы
.cursor/skills/ai-eval-playbook/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install gasserane/personal-skills skills/ai-eval-playbook2Вручную: положить файлы
.github/skills/ai-eval-playbook/SKILL.md1Через Skills CLI (Vercel)
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a gemini-cli2Командой платформы
gemini skills install https://github.com/gasserane/personal-skills --path skills/ai-eval-playbookВручную: положить файлы
.devin/skills/ai-eval-playbook/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add gasserane/personal-skills --skill ai-eval-playbook -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об ai-eval-playbook
Как установить ai-eval-playbook в Claude Code?
Выполни npx skills add gasserane/personal-skills --skill ai-eval-playbook -a claude-code. Файл скилла находится по пути ~/.claude/skills/ai-eval-playbook/SKILL.md.
Что делает ai-eval-playbook?
Помогает оценивать ИИ-модели и продукты по четырём уровням: от работы модели до влияния на результаты. Рассматривает метрики, тестовые наборы и защиту от возможного вреда.
Что нужно для работы ai-eval-playbook?
Для содержательного ответа требуется загрузить актуальную версию руководства с https://eval.playbook.org.ai/. Скилл предлагает использовать WebFetch, ctx_fetch_and_index или claude-in-chrome.