К основному содержанию
скилл CX Codex

ae-evaluation — скилл для Claude Code: оценка ИИ-агентов

Скилл ae-evaluation для Claude Code управляет оценками на платформе Agent Evaluation через ae-cli. Он настраивает прогоны агентов и готовых ответов, затем помогает разобрать результаты.

лицензия не указана 126 установок ★ 23 обновлён 2026-10-22

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-code
Открыть на GitHub

Что делает ae-evaluation

Скилл управляет наборами данных и оценок на платформе Agent Evaluation: настраивает модели, учётные данные и интеграции, запускает прогоны и анализирует результаты. Он также умеет работать с расписаниями и доступом к ресурсам.

Для команд оценки нужна онлайн-платформа и токен AE_EVAL_ACCESS_TOKEN. В песочнице токен сессии получается автоматически; если он открывает доступ к нескольким проектам TE, задаётся AE_EVAL_TE_PROJECT_ID. Внешний терминал без токена не отправляет запросы. Команды по умолчанию обращаются к текущему хосту Agent Evaluation, другой хост задаётся через --host.

Какие задачи решает

  • создать и опубликовать набор данных для оценки
  • настроить модель и агента под тестом
  • запустить оценку и разобрать её результаты
  • задать расписание повторных оценок

Примеры запросов агенту

  • Создай набор данных для оценки из этого CSV-файла.
  • Настрой агента и запусти оценку на выбранном наборе данных.
  • Покажи результаты и трассировки последнего прогона.

Как установить ae-evaluation

1Через Skills CLI (Vercel)

npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-code

2Вручную: положить файлы

~/.claude/skills/ae-evaluation/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/ae-evaluation/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об ae-evaluation

Как установить ae-evaluation в Claude Code?

Выполни npx skills add ThinkingAIAgenticEngine/ae-cli --skill ae-evaluation -a claude-code. Файл скилла находится по пути ~/.claude/skills/ae-evaluation/SKILL.md.

Что делает ae-evaluation?

Скилл управляет ресурсами Agent Evaluation, настройкой и запуском оценок ИИ-агентов, а также разбором результатов.

Что нужно для работы ae-evaluation?

Нужны доступ к онлайн-платформе Agent Evaluation и AE_EVAL_ACCESS_TOKEN. В песочнице токен сессии получается автоматически; для выбора проекта TE используется AE_EVAL_TE_PROJECT_ID.

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
agent-evaluation davila7 Скилл agent-evaluation помогает проверять поведение ИИ-агентов, оценивать их возможности и замечать нестабильные результаты. Используйте его при подготовке агента к работе в реальных условиях. CX Codex +1 378установок evaluation guanyang Скилл evaluation помогает строить оценку ИИ-агентов: проверять результаты, ловить регрессии и сравнивать конфигурации перед развёртыванием. CX Codex +1 293установок evaluation-design microsoft Скилл evaluation-design помогает составить тестовые датасеты и сопроводительные руководства для диалоговых агентов и RAG-систем. Задаёт вопросы по одному и фиксирует требования. CX Codex +1 ★ 1 627звёзд репо gsd-eval-review open-gsd Скилл gsd-eval-review для Claude Code проверяет, покрывает ли оценка завершённую фазу AI-проекта. По итогам он создаёт план исправлений в EVAL-REVIEW.md. CX Codex +1 570установок ai-eval-playbook gasserane Скилл ai-eval-playbook для Claude Code помогает оценивать ИИ-инструменты, чат-боты и GenAI-продукты. Подключается к вопросам о метриках, результатах и оценке предложения по ИИ-инструменту. CX Codex +1 118установок agentic-eval официальный github Скилл agentic-eval для GitHub Copilot помогает проектировать циклы оценки и доработки ответов ИИ-агента. Описывает проверку по критериям и исправление по замечаниям. CX Codex +1 10 213установок

Из того же набора25

Весь набор →
ae-use-agent Скилл ae-use-agent для Claude Code, Codex, Cursor и других платформ: загружает инструкции и зависимости кастомного te-agent агента и выполняет задачу на локальной модели клиента. CX Codex +1 468установок ae-current-context Скилл ae-current-context для Claude Code загружает контекст открытой страницы продукта AE/TE в активную сессию агента. Передаёт состояние страницы с выбранными ресурсами и текущими фильтрами. CX Codex +1 402установок ae-migrate-tracking-code Скилл ae-migrate-tracking-code переносит существующие вызовы Firebase, Amplitude, Mixpanel, Sensors Data или GA4 на AE SDK. Можно заменить старый SDK или оставить его и включить двойную отправку. CX Codex +1 401установок ae-automation Скилл ae-automation для Claude Code создаёт автоматизации на платформе AE по расписанию. Он подключается к просьбам повторять задачи, запускать отчёты или мониторинг. CX Codex +1 166установок ae-things Скилл ae-things для Claude Code ведёт рабочие задачи в явно выбранном AgentSpace. Он подключается к разговорам о назначениях, сроках, этапах и следующих шагах. CX Codex +1 166установок ae-workspace Скилл ae-workspace для Claude Code управляет AgentSpaces через ae-cli. Запросы на настройку участников, возможностей или файлов запускают его. CX Codex +1 165установок ae-things-progress Скилл ae-things-progress для Claude Code собирает факты о задачах Things и готовит сводки за день или неделю. Запрашивайте прогресс по рабочему пространству, исполнителю или выбранным Things. CX Codex +1 165установок ae-things-review Скилл ae-things-review для Claude Code проверяет задачи в рабочем пространстве: ищет изменения объёма, пробелы в обновлениях и подтверждения выполнения. Запускайте обзор для пространства, исполнителя или выбранных задач. CX Codex +1 165установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой