К основному содержанию
субагент CX Codex

ai-observability-engineer — субагент для Codex: как установить

Субагент ai-observability-engineer для Codex проектирует сбор трейсов, метрик и журналов для агентных систем и LLM в продакшене. Запускается при настройке наблюдаемости пайплайнов.

MIT ★ 6 505 обновлён 2026-10-05

Установить в Codex · Вручную: положить файлы Все способы и платформы ↓
.codex/agents/ai-observability-engineer.toml
Открыть на GitHub

Что делает ai-observability-engineer

Субагент анализирует путь выполнения задачи от сборки контекста и вызовов модели до использования инструментов и валидации ответов. Он находит границы сбоев, где нехватка телеметрии мешает диагностике, и формирует минимальную модель наблюдаемости для отладки, оценки качества и контроля расходов.

В фокус входят метрики задержек, стоимости, отказов и ошибок, а также связывание пользовательских сбоев с шагами цепочки. Полное логирование сырых данных исключается, если задачу решают структурированные или сэмплированные события.

В конфигурации прописана модель gpt-5.6-sol. Готовый результат содержит список слепых зон, приоритетные сигналы, баланс затрат и конфиденциальности, а также сценарии для алертов.

Какие задачи решает

  • спроектировать сквозную трассировку вызовов модели и инструментов
  • настроить сбор метрик задержки, отказов и расходов токенов
  • устранить слепые зоны при отладке вероятностных цепочек
  • определить границы маскирования конфиденциальных данных в логах

Примеры запросов агенту

  • Спланируй телеметрию для агента с RAG и внешними инструментами
  • Определи метрики отказов и задержек для продакшен-пайплайна LLM
  • Проверь риски утечки чувствительных данных при логировании промптов

Как установить ai-observability-engineer

Вручную: положить файлы

.codex/agents/ai-observability-engineer.toml

Codex описывает субагентов в TOML: name, description, developer_instructions. Текст из Markdown перенесите в developer_instructions вручную. Для всех проектов — ~/.codex/agents/

По шагам, с командами для каждой платформы: Субагенты Claude Code: как создать, вызвать и не утопить контекст

Вопросы об ai-observability-engineer

Как установить ai-observability-engineer в Codex?

Сохраните файл конфигурации субагента по пути .codex/agents/ai-observability-engineer.toml.

Что делает ai-observability-engineer?

Он проектирует систему наблюдаемости для вероятностных рабочих процессов, сопоставляя путь выполнения запроса с метриками качества, расходами и правилами маскирования данных.

Какая модель используется для работы субагента?

В параметрах субагента задана модель gpt-5.6-sol.

Исходный текст

ai-observability-engineer.toml · MIT
# ai-observability-engineer

Use when a task needs AI-native traces, metrics, logging, and debugging signals for LLM or agent systems in production.

Own AI observability as system visibility for probabilistic workflows, not just conventional application logging.

Working mode:
1. Map the runtime path from input and context assembly through model calls, tool use, and final output.
2. Identify the least visible failure boundaries where better telemetry would change diagnosis quality.
3. Recommend the smallest observability model that supports debugging, evaluation, and governance needs.
4. Check operational cost, privacy, and retention tradeoffs.

Focus on:
- traces across retrieval, prompts, model calls, tool actions, and output validation
- metrics for quality, latency, cost, refusals, fallback rates, and error classes
- logging strategy for prompts, context summaries, tool arguments, and decision breadcrumbs
- correlation between user-visible failures and internal execution paths
- privacy, redaction, and retention boundaries for sensitive inputs or outputs

Quality checks:
- verify each telemetry recommendation helps answer a real debugging question
- avoid logging raw sensitive data when derived signals are sufficient
- ensure quality signals can be joined with operational traces
- call out observability blind spots that still need eval coverage

Return:
- current visibility gaps
- recommended telemetry model and priority signals
- cost/privacy tradeoffs and implementation notes
- debugging or alerting use cases enabled by the design
- residual blind spots and next steps

Do not recommend indiscriminate full-payload logging when safer structured or sampled telemetry can answer the same questions unless explicitly requested by the parent agent.

© VoltAgent · MIT · VoltAgent/awesome-codex-subagents

Похожие субагенты

Все субагенты по теме «ИИ и ML» →
agent-observability-trace-rca datadog-labs Скилл agent-observability-trace-rca для Claude Code и других платформ: идёт по дереву спанов продакшн-трейсов от симптома к корню сбоя LLM-приложения. Разбирает падение оценок и рантайм-ошибки. CX Codex +1 688установок agent-observability devops-skills Скилл agent-observability для Claude Code, Codex, Cursor и других платформ: добавляет трейсинг, счётчики токенов, измерение задержек и отслеживание стоимости LLM-вызовов. Подключается к агентам, RAG-пайплайнам и мультиагентным оркестрациям. CX Codex +1 373установок observability-llm-obs elastic Скилл observability-llm-obs отвечает на вопросы о поведении LLM и агентных приложений по данным, уже загруженным в Elastic: задержки, ошибки, токены, стоимость, срабатывания guardrails. CX Codex +1 4 400установок signals-scout-ai-observability PostHog Скилл signals-scout-ai-observability отслеживает аномалии в PostHog AI observability: всплески расходов, рост задержек, ошибки и сбои в трейсах LLM. CX Codex +1 317установок nemo-relay-plugin-observability NVIDIA Corporation and Affiliates Скилл nemo-relay-plugin-observability для Claude Code помогает выбрать и настроить экспортеры и подписчики для телеметрии NeMo Relay версий 0.6 и 0.7. CX Codex +1 140установок phoenix-observability Orchestra Research Скилл phoenix-observability для Claude Code трассирует LLM-приложения, запускает оценки и следит за продакшен-системами. Подключается при отладке цепочек и проверке датасетов. CX Codex +1 1 100установок

Из того же набора176

Весь набор →
ponder-reviewer Субагент ponder-reviewer для Codex запускает многопроходный ревью-протокол с проверкой покрытия и отсевом ложных срабатываний. CX Codex ★ 6 505звёзд репо prompt-regression-tester prompt-regression-tester — субагент для Codex, который подбирает регрессионные тесты для изменений в ИИ-системе. Он оценивает риски для промптов, моделей, инструментов и рабочих процессов. CX Codex ★ 6 505звёзд репо hallucination-investigator Субагент hallucination-investigator для Codex, который анализирует причины ошибок в ответах ИИ: не хватило контекста, неверный поиск, неправильный промпт или неподдержанный вывод. CX Codex ★ 6 505звёзд репо eval-engineer Субагент eval-engineer для Codex, который проектирует оценку качества промптов, поиска, вызова инструментов и сложных агентов. CX Codex ★ 6 505звёзд репо platform-product-manager Субагент platform-product-manager для работы над внутренней платформой: превращает боли команд в дорожную карту с метриками внедрения и явными компромиссами. CX Codex ★ 6 505звёзд репо idp-architect Субагент idp-architect проектирует архитектуру внутренних платформ разработки (IDP), границы сервисов и модель self-service управления для инженерных команд. CX Codex ★ 6 505звёзд репо golden-path-designer Субагент golden-path-designer для Codex проектирует стандартный путь создания, развёртывания и эксплуатации сервисов. Определяет настройки по умолчанию и правила для исключений. CX Codex ★ 6 505звёзд репо backstage-specialist Субагент backstage-specialist помогает спроектировать внутренний портал разработчика на Backstage: каталог сервисов, шаблоны scaffolder, выбор плагинов и план внедрения. CX Codex ★ 6 505звёзд репо

Спонсоры проекта

Компании, которые помогают держать аналитику открытой