К основному содержанию
скилл CX Codex

agent-orchestration-improve-agent — скилл Claude Code

Скилл agent-orchestration-improve-agent для Claude Code помогает улучшать уже работающих ИИ-агентов. Он разбирает ошибки, дорабатывает промпты и проверяет изменения на тестах.

MIT 141 установок ★ 2 070 обновлён 2026-10-14

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add rmyndharis/antigravity-skills --skill agent-orchestration-improve-agent -a claude-code
Открыть на GitHub

Что делает agent-orchestration-improve-agent

Скилл помогает улучшать существующих агентов через анализ их работы и настройку промптов. Сначала он задаёт базовые метрики, собирает примеры взаимодействий и распределяет сбои по причинам: от непонимания инструкций до неверного выбора инструментов.

Затем скилл предлагает менять промпт и рабочий процесс с измеримыми целями, а результат проверять на тестах и выкатывать постепенно. В процессе задействуются context-manager, prompt-engineer и parallel-test-runner. Без метрик, обратной связи или тестовых случаев этот скилл не подходит.

Какие задачи решает

  • найти причины сбоев существующего агента
  • разобрать ошибки промптов и выбора инструментов
  • улучшить ответы агента по результатам анализа
  • сравнить исходный и изменённый варианты агента на тестах

Примеры запросов агенту

  • Проанализируй работу существующего агента и найди повторяющиеся ошибки.
  • Улучши промпт агента с учётом его неудачных ответов.
  • Составь план тестирования изменений агента и сравни версии.

Как установить agent-orchestration-improve-agent

1Через Skills CLI (Vercel)

npx skills add rmyndharis/antigravity-skills --skill agent-orchestration-improve-agent -a claude-code

2Вручную: положить файлы

~/.claude/skills/agent-orchestration-improve-agent/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/agent-orchestration-improve-agent/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об agent-orchestration-improve-agent

Как установить agent-orchestration-improve-agent в Claude Code?

Выполни npx skills add rmyndharis/antigravity-skills --skill agent-orchestration-improve-agent -a claude-code. Файл скилла находится по пути ~/.claude/skills/agent-orchestration-improve-agent/SKILL.md.

Что делает agent-orchestration-improve-agent?

Скилл помогает оценить работу существующего агента, найти повторяющиеся ошибки и улучшить промпт или рабочий процесс. Изменения предлагается проверять тестами.

Когда использовать agent-orchestration-improve-agent?

Он предназначен для улучшения существующего агента, когда есть метрики, отзывы или тестовые случаи. Для создания нового агента с нуля он не предназначен.

Исходный текст

SKILL.md · MIT
---
name: agent-orchestration-improve-agent
description: "Systematic improvement of existing agents through performance analysis, prompt engineering, and continuous iteration."
---

# Agent Performance Optimization Workflow

Systematic improvement of existing agents through performance analysis, prompt engineering, and continuous iteration.

[Extended thinking: Agent optimization requires a data-driven approach combining performance metrics, user feedback analysis, and advanced prompt engineering techniques. Success depends on systematic evaluation, targeted improvements, and rigorous testing with rollback capabilities for production safety.]

## Use this skill when

- Improving an existing agent's performance or reliability
- Analyzing failure modes, prompt quality, or tool usage
- Running structured A/B tests or evaluation suites
- Designing iterative optimization workflows for agents

## Do not use this skill when

- You are building a brand-new agent from scratch
- There are no metrics, feedback, or test cases available
- The task is unrelated to agent performance or prompt quality

## Instructions

1. Establish baseline metrics and collect representative examples.
2. Identify failure modes and prioritize high-impact fixes.
3. Apply prompt and workflow improvements with measurable goals.
4. Validate with tests and roll out changes in controlled stages.

## Safety

- Avoid deploying prompt changes without regression testing.
- Roll back quickly if quality or safety metrics regress.

## Phase 1: Performance Analysis and Baseline Metrics

Comprehensive analysis of agent performance using context-manager for historical data collection.

### 1.1 Gather Performance Data

```
Use: context-manager
Command: analyze-agent-performance [agent name] --days 30
```

Collect metrics including:

- Task completion rate (successful vs failed tasks)
- Response accuracy and factual correctness
- Tool usage efficiency (correct tools, call frequency)
- Average response time and token consumption
- User satisfaction indicators (corrections, retries)
- Hallucination incidents and error patterns

### 1.2 User Feedback Pattern Analysis

Identify recurring patterns in user interactions:

- **Correction patterns**: Where users consistently modify outputs
- **Clarification requests**: Common areas of ambiguity
- **Task abandonment**: Points where users give up
- **Follow-up questions**: Indicators of incomplete responses
- **Positive feedback**: Successful patterns to preserve

### 1.3 Failure Mode Classification

Categorize failures by root cause:

- **Instruction misunderstanding**: Role or task confusion
- **Output format errors**: Structure or formatting issues
- **Context loss**: Long conversation degradation
- **Tool misuse**: Incorrect or inefficient tool selection
- **Constraint violations**: Safety or business rule breaches
- **Edge case handling**: Unusual input scenarios

### 1.4 Baseline Performance Report

Generate quantitative baseline metrics:

```
Performance Baseline:
- Task Success Rate: [X%]
- Average Corrections per Task: [Y]
- Tool Call Efficiency: [Z%]
- User Satisfaction Score: [1-10]
- Average Response Latency: [Xms]
- Token Efficiency Ratio: [X:Y]
```

## Phase 2: Prompt Engineering Improvements

Apply advanced prompt optimization techniques using prompt-engineer agent.

### 2.1 Chain-of-Thought Enhancement

Implement structured reasoning patterns:

```
Use: prompt-engineer
Technique: chain-of-thought-optimization
```

- Add explicit reasoning steps: "Let's approach this step-by-step..."
- Include self-verification checkpoints: "Before proceeding, verify that..."
- Implement recursive decomposition for complex tasks
- Add reasoning trace visibility for debugging

### 2.2 Few-Shot Example Optimization

Curate high-quality examples from successful interactions:

- **Select diverse examples** covering common use cases
- **Include edge cases** that previously failed
- **Show both positive and negative examples** with explanations
- **Order examples** from simple to complex
- **Annotate examples** with key decision points

Example structure:

```
Good Example:
Input: [User request]
Reasoning: [Step-by-step thought process]
Output: [Successful response]
Why this works: [Key success factors]

Bad Example:
Input: [Similar request]
Output: [Failed response]
Why this fails: [Specific issues]
Correct approach: [Fixed version]
```

### 2.3 Role Definition Refinement

Strengthen agent identity and capabilities:

- **Core purpose**: Clear, single-sentence mission
- **Expertise domains**: Specific knowledge areas
- **Behavioral traits**: Personality and interaction style
- **Tool proficiency**: Available tools and when to use them
- **Constraints**: What the agent should NOT do
- **Success criteria**: How to measure task completion

### 2.4 Constitutional AI Integration

Implement self-correction mechanisms:

```
Constitutional Principles:
1. Verify factual accuracy before responding
2. Self-check for potential biases or harmful content
3. Validate output format matches requirements
4. Ensure response completeness
5. Maintain consistency with previous responses
```

Add critique-and-revise loops:

- Initial response generation
- Self-critique against principles
- Automatic revision if issues detected
- Final validation before output

### 2.5 Output Format Tuning

Optimize response structure:

- **Structured templates** for common tasks
- **Dynamic formatting** based on complexity
- **Progressive disclosure** for detailed information
- **Markdown optimization** for readability
- **Code block formatting** with syntax highlighting
- **Table and list generation** for data presentation

## Phase 3: Testing and Validation

Comprehensive testing framework with A/B comparison.

### 3.1 Test Suite Development

Create representative test scenarios:

```
Test Categories:
1. Golden path scenarios (common successful cases)
2. Previously failed tasks (regression testing)
3. Edge cases and corner scenarios
4. Stress tests (complex, multi-step tasks)
5. Adversarial inputs (potential breaking points)
6. Cross-domain tasks (combining capabilities)
```

### 3.2 A/B Testing Framework

Compare original vs improved agent:

```
Use: parallel-test-runner
Config:
  - Agent A: Original version
  - Agent B: Improved version
  - Test set: 100 representative tasks
  - Metrics: Success rate, speed, token usage
  - Evaluation: Blind human review + automated scoring
```

Statistical significance testing:

- Minimum sample size: 100 tasks per variant
- Confidence level: 95% (p < 0.05)
- Effect size calculation (Cohen's d)
- Power analysis for future tests

### 3.3 Evaluation Metrics

Comprehensive scoring framework:

**Task-Level Metrics:**

- Completion rate (binary success/failure)
- Correctness score (0-100% accuracy)
- Efficiency score (steps taken vs optimal)
- Tool usage appropriateness
- Response relevance and completeness

**Quality Metrics:**

- Hallucination rate (factual errors per response)
- Consistency score (alignment with previous responses)
- Format compliance (matches specified structure)
- Safety score (constraint adherence)
- User satisfaction prediction

**Performance Metrics:**

- Response latency (time to first token)
- Total generation time
- Token consumption (input + output)
- Cost per task (API usage fees)
- Memory/context efficiency

### 3.4 Human Evaluation Protocol

Structured human review process:

- Blind evaluation (evaluators don't know version)
- Standardized rubric with clear criteria
- Multiple evaluators per sample (inter-rater reliability)
- Qualitative feedback collection
- Preference ranking (A vs B comparison)

## Phase 4: Version Control and Deployment

Safe rollout with monitoring and rollback capabilities.

### 4.1 Version Management

Systematic versioning strategy:

```
Version Format: agent-name-v[MAJOR].[MINOR].[PATCH]
Example: customer-support-v2.3.1

MAJOR: Significant capability changes
MINOR: Prompt improvements, new examples
PATCH: Bug fixes, minor adjustments
```

Maintain version history:

- Git-based prompt storage
- Changelog with improvement details
- Performance metrics per version
- Rollback procedures documented

### 4.2 Staged Rollout

Progressive deployment strategy:

1. **Alpha testing**: Internal team validation (5% traffic)
2. **Beta testing**: Selected users (20% traffic)
3. **Canary release**: Gradual increase (20% → 50% → 100%)
4. **Full deployment**: After success criteria met
5. **Monitoring period**: 7-day observation window

### 4.3 Rollback Procedures

Quick recovery mechanism:

```
Rollback Triggers:
- Success rate drops >10% from baseline
- Critical errors increase >5%
- User complaints spike
- Cost per task increases >20%
- Safety violations detected

Rollback Process:
1. Detect issue via monitoring
2. Alert team immediately
3. Switch to previous stable version
4. Analyze root cause
5. Fix and re-test before retry
```

### 4.4 Continuous Monitoring

Real-time performance tracking:

- Dashboard with key metrics
- Anomaly detection alerts
- User feedback collection
- Automated regression testing
- Weekly performance reports

## Success Criteria

Agent improvement is successful when:

- Task success rate improves by ≥15%
- User corrections decrease by ≥25%
- No increase in safety violations
- Response time remains within 10% of baseline
- Cost per task doesn't increase >5%
- Positive user feedback increases

## Post-Deployment Review

After 30 days of production use:

1. Analyze accumulated performance data
2. Compare against baseline and targets
3. Identify new improvement opportunities
4. Document lessons learned
5. Plan next optimization cycle

## Continuous Improvement Cycle

Establish regular improvement cadence:

- **Weekly**: Monitor metrics and collect feedback
- **Monthly**: Analyze patterns and plan improvements
- **Quarterly**: Major version updates with new capabilities
- **Annually**: Strategic review and architecture updates

Remember: Agent optimization is an iterative process. Each cycle builds upon previous learnings, gradually improving performance while maintaining stability and safety.

© rmyndharis · MIT · rmyndharis/antigravity-skills

Похожие скиллы

Все скиллы по теме «Настройка агента: память, контекст, субагенты» →
improve shadcn Скилл improve анализирует кодовую базу в режиме чтения и создаёт автономные пошаговые планы для других агентов. Помогает найти баги, долги архитектуры и проблемы безопасности без правки файлов. CX Codex +1 42 400установок improve-ui ibelick Скилл improve-ui для Claude Code, который проверяет интерфейс по его собственным дизайн-правилам и находит подтверждённые расхождения. Работает только на чтение: код продукта не трогает, а пишет планы правок для другого агента. CX Codex +1 10 400установок improve-react millionco Скилл improve-react аудирует кодовую базу React через сканер React Doctor и готовит готовые инструкции для агентов-исполнителей. Скилл работает строго в режиме чтения. CX Codex +1 2 900установок improve-claude-md humanlayer Скилл improve-claude-md переписывает файл CLAUDE.md с помощью блоков <important if="условие">. Это заставляет Claude Code точнее следовать правилам и не отбрасывать важные инструкции проекта. CX Codex +1 2 800установок improve-website wondelai Скилл improve-website для Claude Code превращает проблемы сайта с конверсией, ясностью и скоростью в упорядоченный план исправлений. Каждое крупное изменение оформляется как проверяемый эксперимент. CX Codex +1 2 800установок improve-code-quality wondelai Скилл improve-code-quality для Claude Code и Codex ведёт проект от непротестированного прототипа к стабильному релизу. Пошаговый план фиксирует тесты, долг и архитектурные решения прямо в папке docs/. CX Codex +1 2 700установок

Из того же набора17

Весь набор →
bash-pro Скилл bash-pro для Claude Code помогает писать и проверять Bash-скрипты для автоматизации, CI/CD и системных задач. Подсказывает, как защитить скрипт от небезопасной обработки аргументов и ошибок. CX Codex +1 123установок quant-analyst Скилл quant-analyst для Claude Code и Codex настраивает агента на разработку торговых стратегий и бэктестинг. Запускает расчёт метрик риска, оптимизацию портфелей и парный трейдинг. CX Codex +1 123установок unity-developer Скилл unity-developer для Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI и OpenCode — подключает экспертизу Unity 6 LTS: рендер-пайплайны, C# оптимизацию, кросс-платформенные сборки. CX Codex +1 3 000установок dotnet-architect Скилл dotnet-architect для Claude Code, Codex, Cursor, GitHub Copilot и Gemini CLI, который добавляет агенту роль старшего .NET-архитектора: C#, ASP.NET Core, Entity Framework, Dapper и паттерны enterprise-уровня. CX Codex +1 353установок java-pro Скилл java-pro для Claude Code помогает разрабатывать на Java 21+, разбирать Spring Boot 3.x и выбирать современные подходы к JVM. Запросите план, код или проверку архитектуры. CX Codex +1 237установок csharp-pro Скилл csharp-pro для Claude Code, Codex и Cursor. Направляет агента при написании кода на современном C#, рефакторинге и профилировании приложений на .NET. CX Codex +1 136установок minecraft-bukkit-pro Скилл minecraft-bukkit-pro для Claude Code помогает разрабатывать плагины Minecraft через Bukkit, Spigot и Paper. Включается для архитектуры, команд, событий и оптимизации сервера. CX Codex +1 131установок ios-developer Скилл ios-developer для Claude Code задаёт агенту контекст старшего инженера по разработке под платформы Apple. Включается при проектировании архитектуры, написании верстки и подготовке сборки к релизу. CX Codex +1 114установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой