# agent-evals

Скилл собирает автотесты для ИИ-агентов: golden-датасеты, рубрики оценки и регрессионные гейты в CI. Пригодится, когда меняешь промпты и хочешь видеть, что стало хуже.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 340 установок · ★ 1177
- Автор: devops-skills
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/BagelHole/DevOps-Security-Agent-Skills/tree/HEAD/devops/ai/agent-evals/SKILL.md
- Обновлён: 2026-05-22
- HTML: https://affpapa.org/nevibecode/skills/agent-evals

## Что делает

Скилл описывает четыре слоя проверок. Юнит-эвалы гоняют отдельные промпты через `pytest` и сверяют ответ с ожидаемым JSON или списком обязательных и запрещённых слов. Эвалы инструментов смотрят, вызвал ли агент нужную функцию и с какими параметрами. Сквозные прогоны проверяют многошаговые задачи: был ли поиск, уложился ли агент в лимит шагов и токенов. Отдельный слой — безопасность: промпт-инъекции, попытки вытащить системный промпт или секреты, эксфильтрация данных через ссылки.

Для свободных ответов есть оценка моделью-судьёй: она ставит баллы по критериям вроде точности и безопасности и возвращает JSON, а тест сравнивает средний балл с порогом. Ещё в скилле есть готовый конфиг Promptfoo с провайдером и проверками `contains` и `llm-rubric`.

Заранее понадобится Python 3.10+, ключ API к LLM и `pytest` либо свой харнесс. Аккаунты Braintrust, Promptfoo или LangSmith — по желанию. Без ключа API судья и часть прогонов просто не запустятся, так что это первое, что стоит проверить перед подключением скилла к CI.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill agent-evals -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/agent-evals/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/agent-evals/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill agent-evals -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/agent-evals/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill agent-evals -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/agent-evals/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install BagelHole/DevOps-Security-Agent-Skills agent-evals
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/agent-evals/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill agent-evals -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/BagelHole/DevOps-Security-Agent-Skills --path devops/ai/agent-evals
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/agent-evals/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill agent-evals -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/BagelHole/DevOps-Security-Agent-Skills/tree/HEAD/devops/ai/agent-evals/SKILL.md

## Когда брать
- поймать регрессию после правки системного промпта
- проверить, что агент вызывает нужный инструмент с верными параметрами
- закрыть CI-гейтом выкладку агентной фичи
- оценить свободные ответы модели по рубрике
- проверить устойчивость к промпт-инъекциям и утечке секретов

## Примеры запросов агенту
- Собери эвалы для нашего агента: golden-датасет, проверки выбора инструментов и порог по качеству
- Добавь в CI гейт, который роняет сборку, если средняя точность падает ниже порога
- Напиши тесты на промпт-инъекции и попытки вытащить системный промпт

## Похожие
- [deepeval](https://affpapa.org/nevibecode/skills/deepeval.md) — скилл · 2800 установок
- [ai-evals](https://affpapa.org/nevibecode/skills/ai-evals.md) — скилл · 2100 установок
- [online-evals](https://affpapa.org/nevibecode/skills/online-evals.md) — скилл · 1800 установок
- [evals-start](https://affpapa.org/nevibecode/skills/evals-start.md) — скилл · 776 установок
- [logfire-evals](https://affpapa.org/nevibecode/skills/logfire-evals.md) — скилл · 554 установки
- [phoenix-evals](https://affpapa.org/nevibecode/skills/phoenix-evals.md) — скилл · 1000 установок

Из того же набора: [bagelhole/devops-security-agent-skills](https://affpapa.org/nevibecode/by/bagelhole/devops-security-agent-skills.md) — 127 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md