# ae-evaluation

Скилл ae-evaluation для Claude Code управляет оценками на платформе Agent Evaluation через ae-cli. Он настраивает прогоны агентов и готовых ответов, затем помогает разобрать результаты.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 126 установок · ★ 23 у репозитория
- Автор: ThinkingAIAgenticEngine
- Лицензия: не указана · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/ThinkingAIAgenticEngine/ae-cli/tree/HEAD/skills/ae-evaluation/SKILL.md
- Обновлён: 2026-10-22
- Проверка безопасности: автоматическая, 2026-11-17 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/ae-evaluation

## Что делает

Скилл управляет наборами данных и оценок на платформе Agent Evaluation: настраивает модели, учётные данные и интеграции, запускает прогоны и анализирует результаты. Он также умеет работать с расписаниями и доступом к ресурсам.

Для команд оценки нужна онлайн-платформа и токен `AE_EVAL_ACCESS_TOKEN`. В песочнице токен сессии получается автоматически; если он открывает доступ к нескольким проектам TE, задаётся `AE_EVAL_TE_PROJECT_ID`. Внешний терминал без токена не отправляет запросы. Команды по умолчанию обращаются к текущему хосту Agent Evaluation, другой хост задаётся через `--host`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/ae-evaluation/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/ae-evaluation/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/ae-evaluation/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/ae-evaluation/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install ThinkingAIAgenticEngine/ae-cli skills/ae-evaluation
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/ae-evaluation/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/ThinkingAIAgenticEngine/ae-cli --path skills/ae-evaluation
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/ae-evaluation/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/ThinkingAIAgenticEngine/ae-cli/tree/HEAD/skills/ae-evaluation/SKILL.md

## Когда брать
- создать и опубликовать набор данных для оценки
- настроить модель и агента под тестом
- запустить оценку и разобрать её результаты
- задать расписание повторных оценок

## Примеры запросов агенту
- Создай набор данных для оценки из этого CSV-файла.
- Настрой агента и запусти оценку на выбранном наборе данных.
- Покажи результаты и трассировки последнего прогона.

## Похожие
- [agent-evaluation](https://affpapa.org/nevibecode/skills/agent-evaluation.md) — скилл · 378 установок
- [evaluation](https://affpapa.org/nevibecode/skills/evaluation.md) — скилл · 293 установки
- [evaluation-design](https://affpapa.org/nevibecode/skills/evaluation-design.md) — скилл · ★ 1627 у репозитория
- [gsd-eval-review](https://affpapa.org/nevibecode/skills/gsd-eval-review.md) — скилл · 570 установок
- [ai-eval-playbook](https://affpapa.org/nevibecode/skills/ai-eval-playbook.md) — скилл · 118 установок
- [agentic-eval](https://affpapa.org/nevibecode/skills/agentic-eval.md) — скилл · 10213 установок

Из того же набора: [thinkingaiagenticengine/ae-cli](https://affpapa.org/nevibecode/by/thinkingaiagenticengine/ae-cli.md) — 25 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
