agent-evaluation · neolabhq — скилл для Claude Code: что делает и как установить
Методика проверки агентов, скиллов и промптов с рубриками качества и шаблонами оценки через LLM-судью.
npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a claude-codeЧто делает agent-evaluation
Скилл даёт правила для тестирования агентов в Claude Code и других средах разработки. Поскольку агенты недетерминированы и часто приходят к верному ответу альтернативными шагами, скилл смещает фокус с цепочки действий на итоговый результат. В основу заложена рубрика из пяти критериев: следование инструкциям (вес 0.30), полнота ответа (0.25), точность использования инструментов (0.20), качество рассуждений (0.15) и связность текста (0.10).
Внутри разобран подход LLM-as-judge с готовым промптом. Для надёжности скилл требует формировать рассуждение строго до выставления баллов: это повышает точность автоматической разметки на 15–25%. Без выборочной ручной проверки автоматический судья всё равно пропустит скрытые галлюцинации и редкие краевые случаи.
Какие задачи решает
- оценить работу агента по пяти критериям с взвешенным баллом
- проверить влияние изменений в контексте и системных промптах
- сформировать шаблон для тестирования вывода через модель-судью
- отследить контекстные ошибки при длинных диалогах с инструментами
Примеры запросов агенту
- Оцени последний ответ агента по пяти критериям, сформировав рассуждение до выставления баллов
- Сравни две версии промпта по рубрике agent-evaluation с акцентом на следование инструкциям
- Подготовь промпт для LLM-as-judge, чтобы проверить полноту ответа и выбор инструментов
Как установить agent-evaluation
1Через Skills CLI (Vercel)
npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a claude-code2Вручную: положить файлы
~/.claude/skills/agent-evaluation/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/agent-evaluation/
1Через Skills CLI (Vercel)
npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a codex2Вручную: положить файлы
.agents/skills/agent-evaluation/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a cursor2Вручную: положить файлы
.cursor/skills/agent-evaluation/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install NeoLabHQ/context-engineering-kit agent-evaluation2Вручную: положить файлы
.github/skills/agent-evaluation/SKILL.md1Через Skills CLI (Vercel)
npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a gemini-cli2Командой платформы
gemini skills install https://github.com/NeoLabHQ/context-engineering-kit --path skills/agent-evaluationВручную: положить файлы
.devin/skills/agent-evaluation/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о agent-evaluation
Как установить agent-evaluation в Claude Code?
Выполните команду npx skills add NeoLabHQ/context-engineering-kit --skill agent-evaluation -a claude-code. Также файл скилла можно сохранить вручную по пути ~/.claude/skills/agent-evaluation/SKILL.md.
Зачем нужен скилл agent-evaluation?
Он помогает систематизировать оценку агентов и промптов, когда классические тесты не работают из-за вариативности путей решения. Скилл задаёт понятные метрики качества и правила применения LLM в роли судьи.
Какие факторы сильнее всего влияют на работу агента по данным скилла?
По данным исследования BrowseComp, 95% дисперсии результатов объясняют три фактора: расход токенов (80%), число вызовов инструментов (~10%) и выбор модели (~5%).
Похожие скиллы
Всё по теме «Тесты и QA» →Сначала — agent-evaluation от других авторов.
