agent-evaluation · davila7 — скилл для Claude Code
Скилл помогает проверять поведение ИИ-агентов, оценивать их возможности и замечать нестабильные результаты. Используйте его при подготовке агента к работе в реальных условиях.
npx claude-code-templates@latest --skill ai-research/agent-evaluationЧто делает agent-evaluation
Скилл предлагает оценивать агента не по одному удачному запуску, а по результатам повторных проверок. Он охватывает поведенческие тесты, оценку возможностей, метрики надёжности и регрессионные проверки. Это помогает заметить, когда агент проходит бенчмарк, но срывается на практической задаче.
В подход входят проверка заданных поведенческих условий и попытки найти слабые места в работе агента. Также описаны риски нестабильных тестов, подгонки поведения под метрику и утечки тестовых данных в обучение или промпты. Для работы нужны основы тестирования и понимание принципов LLM; без них будет трудно выбрать корректные проверки и трактовать результаты.
Какие задачи решает
- проверить, сохраняет ли агент заданное поведение
- оценить возможности агента на разных задачах
- выявить нестабильность результатов между запусками
- найти случаи, когда агент подстраивается под метрику
- проверить тесты на утечку данных в обучение или промпты
Примеры запросов агенту
- Проверь, сохраняет ли агент заданные поведенческие условия при повторных запусках.
- Составь план оценки возможностей агента на разных задачах.
- Найди слабые места в тестировании агента и проверь риск утечки тестовых данных.
Как установить agent-evaluation
1Через claude-code-templates
npx claude-code-templates@latest --skill ai-research/agent-evaluation2Через Skills CLI (Vercel)
npx skills add davila7/claude-code-templates --skill agent-evaluation -a claude-code3Вручную: положить файлы
~/.claude/skills/agent-evaluation/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/agent-evaluation/
Вручную: положить файлы
.agents/skills/agent-evaluation/SKILL.mdДля всех проектов — ~/.agents/skills/
Вручную: положить файлы
.cursor/skills/agent-evaluation/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install davila7/claude-code-templates agent-evaluation2Вручную: положить файлы
.github/skills/agent-evaluation/SKILL.mdКомандой платформы
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/agent-evaluationВручную: положить файлы
.devin/skills/agent-evaluation/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Claude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о agent-evaluation
Как установить agent-evaluation в Claude Code?
Запустите npx claude-code-templates@latest --skill ai-research/agent-evaluation.
Что делает agent-evaluation?
Скилл описывает подходы к тестированию ИИ-агентов: поведенческие проверки, оценку возможностей, надёжность и регрессионные тесты.
Что нужно знать, чтобы работать с agent-evaluation?
Нужны основы тестирования и понимание принципов работы LLM.
Похожие скиллы
Все скиллы по теме «Тесты и QA» →Сначала — agent-evaluation от других авторов.
