# agent-evaluation

Скилл для сравнения версий агента, промпта или набора инструментов на версионированных кейсах с явными проверками. Пригодится, когда нужно воспроизвести сбой или прогнать регрессию.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 971 установка · ★ 48508
- Автор: sickn33
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/sickn33/agentic-awesome-skills/tree/HEAD/skills/agent-evaluation/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/sickn33-agent-evaluation

## Что делает

Скилл задаёт порядок работы с наблюдаемым поведением агента: заморозить контракт, проверить сам стенд, прогнать кейсы, разобрать расхождения, сравнить baseline с кандидатом и зафиксировать результат. Кейсы хранятся с ожидаемыми исходами и границами прав доступа, а версии модели, промпта, инструментов и рантайма записываются отдельно.

Перед запуском нужен набор кейсов с ревизией, известный baseline и кандидат, синтетические или обезличенные входы, изолированные цели и бюджет по токенам, времени и стоимости. Проверяющий должен различать неверный исход, ожидаемый безопасный отказ, сбой самого проверяющего и падение инфраструктуры. Доступ к провайдеру нужен только там, где его требует объявленная оценка.

Внутри есть вспомогательная функция `wilson95(passes, trials)` на JavaScript: она считает приблизительный 95% интервал Уилсона и отвергает некорректные счётчики. Десять успехов из десяти не доказывают стопроцентную надёжность, а повторные прогоны одного кейса не считаются независимыми наблюдениями. Критические отказы по безопасности и авторизации идут отдельно от средней оценки качества, и высокий балл их не перекрывает.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sickn33/agentic-awesome-skills --skill agent-evaluation -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/agent-evaluation/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/agent-evaluation/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sickn33/agentic-awesome-skills --skill agent-evaluation -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/agent-evaluation/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sickn33/agentic-awesome-skills --skill agent-evaluation -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/agent-evaluation/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install sickn33/agentic-awesome-skills agent-evaluation
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/agent-evaluation/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add sickn33/agentic-awesome-skills --skill agent-evaluation -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/sickn33/agentic-awesome-skills --path skills/agent-evaluation
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/agent-evaluation/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add sickn33/agentic-awesome-skills --skill agent-evaluation -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/sickn33/agentic-awesome-skills/tree/HEAD/skills/agent-evaluation/SKILL.md

## Когда брать
- сравнить поведение агента до и после правки промпта
- воспроизвести замеченный сбой на зафиксированном кейсе
- отличить ошибку агента от сбоя проверяющего или инфраструктуры
- оценить надёжность на объявленном наборе задач с учётом неопределённости
- поймать неавторизованный вызов инструмента в негативном кейсе

## Примеры запросов агенту
- Прогони замороженный набор кейсов для baseline и кандидата и покажи расхождения по каждому кейсу
- Проверь стенд: известный проходной кейс, известный провальный и намеренный сбой проверяющего
- Посчитай интервал Уилсона для 10 успехов из 10 прогонов через `wilson95`

## Похожие
- [setup-matt-pocock-skills](https://affpapa.org/nevibecode/skills/setup-matt-pocock-skills.md) — скилл · 1052851 установка
- [ask-matt](https://affpapa.org/nevibecode/skills/ask-matt.md) — скилл · 766587 установок
- [to-tickets](https://affpapa.org/nevibecode/skills/to-tickets.md) — скилл · 711230 установок
- [writing-plans](https://affpapa.org/nevibecode/skills/writing-plans.md) — скилл · 282859 установок
- [caveman-review](https://affpapa.org/nevibecode/skills/caveman-review.md) — скилл · 411800 установок
- [caveman-compress](https://affpapa.org/nevibecode/skills/caveman-compress.md) — скилл · 411500 установок

## Другие версии с тем же именем
- [agent-evaluation · neolabhq](https://affpapa.org/nevibecode/skills/neolabhq-agent-evaluation.md) — 1300 установок
- [agent-evaluation · mlflow](https://affpapa.org/nevibecode/skills/mlflow-agent-evaluation.md) — 1100 установок

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md