ae-evaluation — скилл для Claude Code: оценка ИИ-агентов
Скилл ae-evaluation для Claude Code управляет оценками на платформе Agent Evaluation через ae-cli. Он настраивает прогоны агентов и готовых ответов, затем помогает разобрать результаты.
лицензия не указана 126 установок ★ 23 обновлён 2026-10-22
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-codeЧто делает ae-evaluation
Скилл управляет наборами данных и оценок на платформе Agent Evaluation: настраивает модели, учётные данные и интеграции, запускает прогоны и анализирует результаты. Он также умеет работать с расписаниями и доступом к ресурсам.
Для команд оценки нужна онлайн-платформа и токен AE_EVAL_ACCESS_TOKEN. В песочнице токен сессии получается автоматически; если он открывает доступ к нескольким проектам TE, задаётся AE_EVAL_TE_PROJECT_ID. Внешний терминал без токена не отправляет запросы. Команды по умолчанию обращаются к текущему хосту Agent Evaluation, другой хост задаётся через --host.
Какие задачи решает
- создать и опубликовать набор данных для оценки
- настроить модель и агента под тестом
- запустить оценку и разобрать её результаты
- задать расписание повторных оценок
Примеры запросов агенту
- Создай набор данных для оценки из этого CSV-файла.
- Настрой агента и запусти оценку на выбранном наборе данных.
- Покажи результаты и трассировки последнего прогона.
Как установить ae-evaluation
1Через Skills CLI (Vercel)
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-code2Вручную: положить файлы
~/.claude/skills/ae-evaluation/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/ae-evaluation/
1Через Skills CLI (Vercel)
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a codex2Вручную: положить файлы
.agents/skills/ae-evaluation/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a cursor2Вручную: положить файлы
.cursor/skills/ae-evaluation/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install ThinkingAIAgenticEngine/ae-cli skills/ae-evaluation2Вручную: положить файлы
.github/skills/ae-evaluation/SKILL.md1Через Skills CLI (Vercel)
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a gemini-cli2Командой платформы
gemini skills install https://github.com/ThinkingAIAgenticEngine/ae-cli --path skills/ae-evaluationВручную: положить файлы
.devin/skills/ae-evaluation/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы об ae-evaluation
Как установить ae-evaluation в Claude Code?
Выполни npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-code. Файл скилла находится по пути ~/.claude/skills/ae-evaluation/SKILL.md.
Что делает ae-evaluation?
Скилл управляет ресурсами Agent Evaluation, настройкой и запуском оценок ИИ-агентов, а также разбором результатов.
Что нужно для работы ae-evaluation?
Нужны доступ к онлайн-платформе Agent Evaluation и AE_EVAL_ACCESS_TOKEN. В песочнице токен сессии получается автоматически; для выбора проекта TE используется AE_EVAL_TE_PROJECT_ID.