arize-ax — плагин для GitHub Copilot: что делает и как установить
Плагин добавляет навыки Arize AX для трассировки, оценки и настройки LLM-приложений. Пригодится для анализа traces, экспериментов и prompt optimization.
copilot plugin install arize-ax@awesome-copilotЧто делает arize-ax
arize-ax подключает к GitHub Copilot навыки для работы с Arize AX. Через ax CLI можно экспортировать и анализировать traces и spans, создавать версионируемые evaluation datasets, запускать эксперименты и сравнивать результаты.
В состав входят инструменты для LLM-as-judge evaluators, credentials провайдеров LLM, annotation configs и массовой разметки spans. Отдельные навыки добавляют трассировку в приложение по двухфазному процессу, оптимизируют prompts на данных production traces и создают deep links в Arize UI.
Плагин стоит ставить, если проект уже использует Arize AX и нужно связать наблюдаемость с оценкой и настройкой prompts. Для задач вне этого сервиса он избыточен.
Какие задачи решает
- экспортировать traces и spans для отладки LLM-приложения
- создать версионируемый evaluation dataset
- сравнить результаты экспериментов на данных
- настроить LLM-as-judge evaluator
- сформировать ссылку на trace или dataset в Arize UI
Примеры запросов агенту
- Экспортируй и проанализируй traces этого LLM-приложения через
ax CLI. - Создай evaluation dataset, запусти эксперимент и сравни результаты.
- Добавь Arize AX tracing в приложение и создай deep link на нужный span.
Как установить arize-ax
Команда из источника
copilot plugin install arize-ax@awesome-copilotПо шагам, с командами для каждой платформы: Плагины Claude Code: маркетплейсы, установка и как собрать свой
Вопросы о arize-ax
Как установить arize-ax в GitHub Copilot?
Выполните copilot plugin install arize-ax@awesome-copilot.
Что делает arize-ax?
Плагин добавляет навыки для трассировки LLM-приложений, evaluation datasets, экспериментов, evaluators, annotations и prompt optimization в Arize AX.
Какие инструменты входят в arize-ax?
В набор входят ax CLI, навыки для instrumentation, datasets, experiments, evaluators, AI provider integrations, annotations и deep links в Arize UI.
Исходный текст
arize-ax · MIT
# Arize AX Plugin Arize AX platform skills for LLM observability, evaluation, and optimization. Includes trace export, instrumentation, datasets, experiments, evaluators, AI provider integrations, annotations, prompt optimization, and deep linking to the Arize UI. ## Installation ```bash # Using Copilot CLI copilot plugin install arize-ax@awesome-copilot ``` ## What's Included ### Skills | Skill | Description | |-------|-------------| | `arize-trace` | Export and analyze Arize traces and spans for debugging LLM applications using the ax CLI. | | `arize-instrumentation` | Add Arize AX tracing to applications using a two-phase agent-assisted workflow. | | `arize-dataset` | Create, manage, and query versioned evaluation datasets using the ax CLI. | | `arize-experiment` | Run experiments against datasets and compare results using the ax CLI. | | `arize-evaluator` | Create and run LLM-as-judge evaluators for automated scoring of spans and experiments. | | `arize-ai-provider-integration` | Store and manage LLM provider credentials for use with evaluators. | | `arize-annotation` | Create annotation configs and bulk-apply human feedback labels to spans. | | `arize-prompt-optimization` | Optimize LLM prompts using production trace data, evaluations, and annotations. | | `arize-link` | Generate deep links to the Arize UI for traces, spans, sessions, datasets, and more. |
© Arize AI · MIT · github/awesome-copilot
