К основному содержанию
скилл CX Codex

test-reporting-triage-skill — скилл для Claude Code

Скилл test-reporting-triage-skill для Claude Code группирует ошибки тестов по категориям, предлагает ответственные команды и варианты исправления. Разбирает результаты прогона тестов.

MIT 257 установок ★ 64 обновлён 2026-01-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add patricio0312rev/skills --skill test-reporting-triage-skill -a claude-code
Открыть на GitHub

Что делает test-reporting-triage-skill

Скилл анализирует ошибки тестов и присваивает им категории: среди них таймауты, сетевые сбои, ошибки базы данных, аутентификации и проверок. Для некоторых типов он предлагает команду-владельца и список действий; для ошибок проверок команда определяется по пути в stack trace. Если путь не содержит ожидаемых каталогов, владельцем станет Development Team.

TestReporter собирает сбои и формирует Markdown-отчёт с итогами по категориям, деталями ошибок, предполагаемыми владельцами и вариантами исправления. В коде также есть генерация сообщения для Slack. Анализатор распознаёт только часть категорий из общего списка типов, поэтому другие ошибки могут попасть в unknown.

Какие задачи решает

  • разнести сбои тестов по категориям
  • найти предполагаемую команду-владельца ошибки
  • собрать Markdown-отчёт с деталями сбоев
  • получить список действий для разбора ошибки

Примеры запросов агенту

  • Разбери ошибки последнего прогона тестов и предложи владельцев и исправления.
  • Сгруппируй сбои тестов по категориям и подготовь Markdown-отчёт.
  • Проанализируй эту ошибку теста и подскажи, что проверить.

Как установить test-reporting-triage-skill

1Через Skills CLI (Vercel)

npx skills add patricio0312rev/skills --skill test-reporting-triage-skill -a claude-code

2Вручную: положить файлы

~/.claude/skills/test-reporting-triage-skill/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/test-reporting-triage-skill/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о test-reporting-triage-skill

Как установить test-reporting-triage-skill в Claude Code?

Выполните npx skills add patricio0312rev/skills --skill test-reporting-triage-skill -a claude-code. Файл скилла находится по пути ~/.claude/skills/test-reporting-triage-skill/SKILL.md.

Что делает test-reporting-triage-skill?

Он распределяет ошибки тестов по категориям, предлагает ответственных и возможные исправления. TestReporter собирает Markdown-отчёт по сбоям.

Как скилл определяет владельца ошибки?

Для ошибок проверок он ищет в stack trace пути /frontend/, /backend/, /api/ и /database/. Для некоторых других категорий назначает соответствующую команду; прочие ошибки попадают в unknown.

Исходный текст

SKILL.md · MIT
---
name: test-reporting-triage-skill
description: Automatically categorizes test failures, suggests responsible owners, and provides common fix checklists. Generates actionable test reports with failure analysis. Use for "test reporting", "failure triage", "test analysis", or "test automation".
---

# Test Reporting & Triage Skill

Automatically triage test failures and suggest next actions.

## Failure Categorization

```typescript
// types/test-failure.ts
export type FailureCategory =
  | "timeout"
  | "assertion"
  | "network"
  | "database"
  | "authentication"
  | "permission"
  | "configuration"
  | "flaky"
  | "infrastructure"
  | "unknown";

export interface TestFailure {
  testName: string;
  category: FailureCategory;
  errorMessage: string;
  stackTrace: string;
  suggestedOwner: string;
  suggestedFixes: string[];
  runId: string;
  timestamp: Date;
}
```

## Failure Analyzer

```typescript
// analyzers/failure-analyzer.ts
export class FailureAnalyzer {
  categorize(error: Error, testName: string): TestFailure {
    const errorMessage = error.message.toLowerCase();
    const stackTrace = error.stack || "";

    // Timeout detection
    if (errorMessage.includes("timeout") || errorMessage.includes("exceeded")) {
      return {
        testName,
        category: "timeout",
        errorMessage: error.message,
        stackTrace,
        suggestedOwner: "Performance Team",
        suggestedFixes: [
          "Check if API is slow",
          "Increase timeout value",
          "Optimize database query",
          "Check for network issues",
        ],
        runId: process.env.CI_RUN_ID || "local",
        timestamp: new Date(),
      };
    }

    // Network errors
    if (
      errorMessage.includes("econnrefused") ||
      errorMessage.includes("network") ||
      errorMessage.includes("fetch failed")
    ) {
      return {
        testName,
        category: "network",
        errorMessage: error.message,
        stackTrace,
        suggestedOwner: "DevOps Team",
        suggestedFixes: [
          "Check if service is running",
          "Verify network connectivity",
          "Check firewall rules",
          "Verify DNS resolution",
        ],
        runId: process.env.CI_RUN_ID || "local",
        timestamp: new Date(),
      };
    }

    // Database errors
    if (
      errorMessage.includes("database") ||
      errorMessage.includes("prisma") ||
      errorMessage.includes("unique constraint")
    ) {
      return {
        testName,
        category: "database",
        errorMessage: error.message,
        stackTrace,
        suggestedOwner: "Backend Team",
        suggestedFixes: [
          "Check database connection",
          "Verify test data cleanup",
          "Check for race conditions",
          "Review migration status",
        ],
        runId: process.env.CI_RUN_ID || "local",
        timestamp: new Date(),
      };
    }

    // Authentication errors
    if (
      errorMessage.includes("unauthorized") ||
      errorMessage.includes("authentication") ||
      errorMessage.includes("401")
    ) {
      return {
        testName,
        category: "authentication",
        errorMessage: error.message,
        stackTrace,
        suggestedOwner: "Auth Team",
        suggestedFixes: [
          "Check auth token validity",
          "Verify test user credentials",
          "Check session expiration",
          "Review auth middleware",
        ],
        runId: process.env.CI_RUN_ID || "local",
        timestamp: new Date(),
      };
    }

    // Assertion failures
    if (
      errorMessage.includes("expected") &&
      errorMessage.includes("received")
    ) {
      return {
        testName,
        category: "assertion",
        errorMessage: error.message,
        stackTrace,
        suggestedOwner: this.determineOwnerFromPath(stackTrace),
        suggestedFixes: [
          "Review recent code changes",
          "Check if test expectations are correct",
          "Verify test data setup",
          "Check for breaking changes",
        ],
        runId: process.env.CI_RUN_ID || "local",
        timestamp: new Date(),
      };
    }

    // Default: unknown
    return {
      testName,
      category: "unknown",
      errorMessage: error.message,
      stackTrace,
      suggestedOwner: "On-Call Engineer",
      suggestedFixes: [
        "Review error message and stack trace",
        "Check recent commits",
        "Run test locally to reproduce",
        "Add more specific error handling",
      ],
      runId: process.env.CI_RUN_ID || "local",
      timestamp: new Date(),
    };
  }

  private determineOwnerFromPath(stackTrace: string): string {
    if (stackTrace.includes("/frontend/")) return "Frontend Team";
    if (stackTrace.includes("/backend/")) return "Backend Team";
    if (stackTrace.includes("/api/")) return "API Team";
    if (stackTrace.includes("/database/")) return "Database Team";
    return "Development Team";
  }
}
```

## Test Report Generator

```typescript
// reporters/test-report.ts
import { FailureAnalyzer } from "../analyzers/failure-analyzer";

export class TestReporter {
  private analyzer = new FailureAnalyzer();
  private failures: TestFailure[] = [];

  recordFailure(error: Error, testName: string) {
    const failure = this.analyzer.categorize(error, testName);
    this.failures.push(failure);
  }

  generateReport(): string {
    const grouped = this.groupByCategory();
    const report: string[] = [];

    report.push("# Test Failure Report\n");
    report.push(`Generated: ${new Date().toISOString()}\n`);
    report.push(`Total Failures: ${this.failures.length}\n\n`);

    // Summary by category
    report.push("## Summary by Category\n");
    Object.entries(grouped).forEach(([category, failures]) => {
      report.push(`- ${category}: ${failures.length} failures`);
    });
    report.push("\n");

    // Detailed failures
    report.push("## Detailed Failures\n\n");
    Object.entries(grouped).forEach(([category, failures]) => {
      report.push(`### ${category.toUpperCase()} (${failures.length})\n\n`);

      failures.forEach((failure, i) => {
        report.push(`#### ${i + 1}. ${failure.testName}\n`);
        report.push(`**Owner:** ${failure.suggestedOwner}\n\n`);
        report.push(`**Error:**\n\`\`\`\n${failure.errorMessage}\n\`\`\`\n\n`);
        report.push(`**Suggested Fixes:**\n`);
        failure.suggestedFixes.forEach((fix) => {
          report.push(`- ${fix}\n`);
        });
        report.push("\n");
      });
    });

    return report.join("");
  }

  generateSlackMessage(): string {
    const grouped = this.groupByCategory();
    const messages: string[] = [];

    messages.push("🔴 *Test Failures Detected*\n");
    messages.push(`Total: ${this.failures.length} failures\n`);

    Object.entries(grouped).forEach(([category, failures]) => {
      const icon = this.getCategoryIcon(category);
      messages.push(`${icon} ${category}: ${failures.length}`);
    });

    // Top 3 failures
    messages.push("\n*Top Failures:*");
    this.failures.slice(0, 3).forEach((failure, i) => {
      messages.push(`\n${i + 1}. \`${failure.testName}\``);
      messages.push(`   Owner: @${failure.suggestedOwner}`);
    });

    return messages.join("\n");
  }

  private groupByCategory(): Record<string, TestFailure[]> {
    return this.failures.reduce((acc, failure) => {
      if (!acc[failure.category]) {
        acc[failure.category] = [];
      }
      acc[failure.category].push(failure);
      return acc;
    }, {} as Record<string, TestFailure[]>);
  }

  private getCategoryIcon(category: string): string {
    const icons: Record<string, string> = {
      timeout: "⏱️",
      network: "🌐",
      database: "💾",
      authentication: "🔐",
      assertion: "❌",
      flaky: "🔄",
      infrastructure: "🏗️",
      unknown: "❓",
    };
    return icons[category] || "❓";
  }
}
```

## Common Fix Checklists

```typescript
// checklists/fix-checklists.ts
export const fixChecklists = {
  timeout: {
    title: "Timeout Failure Checklist",
    steps: [
      "☐ Check if the timeout is too short",
      "☐ Verify API response time in logs",
      "☐ Check database query performance",
      "☐ Look for network latency issues",
      "☐ Verify no infinite loops or deadlocks",
      "☐ Check if external services are slow",
      "☐ Consider increasing timeout temporarily",
      "☐ Optimize slow code path if confirmed slow",
    ],
  },

  flaky: {
    title: "Flaky Test Checklist",
    steps: [
      "☐ Run test 10 times locally",
      "☐ Check for race conditions",
      "☐ Verify proper test cleanup",
      "☐ Look for timing dependencies",
      "☐ Check for shared state between tests",
      "☐ Verify no randomness in test data",
      "☐ Check for network/external dependencies",
      "☐ Add explicit waits where needed",
    ],
  },

  database: {
    title: "Database Error Checklist",
    steps: [
      "☐ Verify database is running",
      "☐ Check connection string",
      "☐ Verify test database cleanup",
      "☐ Check for constraint violations",
      "☐ Look for migration issues",
      "☐ Verify proper transaction handling",
      "☐ Check for concurrent access issues",
      "☐ Review recent schema changes",
    ],
  },

  assertion: {
    title: "Assertion Failure Checklist",
    steps: [
      "☐ Review what changed in recent commits",
      "☐ Verify test expectations are still valid",
      "☐ Check if feature requirements changed",
      "☐ Run test locally to reproduce",
      "☐ Check test data setup",
      "☐ Verify mocks are up to date",
      "☐ Review API contract changes",
      "☐ Update test if behavior change is intentional",
    ],
  },
};
```

## CI Integration

```yaml
# .github/workflows/test-report.yml
name: Test Report

on:
  workflow_run:
    workflows: ["CI"]
    types: [completed]

jobs:
  report:
    runs-on: ubuntu-latest
    if: ${{ github.event.workflow_run.conclusion == 'failure' }}

    steps:
      - uses: actions/checkout@v4

      - name: Download test results
        uses: actions/download-artifact@v4
        with:
          name: test-results

      - name: Generate report
        run: npm run analyze-failures

      - name: Post to Slack
        uses: slackapi/slack-github-action@v1
        with:
          channel-id: "test-failures"
          payload: ${{ steps.analyze.outputs.slack_message }}
        env:
          SLACK_BOT_TOKEN: ${{ secrets.SLACK_BOT_TOKEN }}

      - name: Create GitHub Issue
        uses: actions/github-script@v7
        with:
          script: |
            const report = require('./test-report.json');
            github.rest.issues.create({
              owner: context.repo.owner,
              repo: context.repo.repo,
              title: `Test Failures - ${new Date().toISOString()}`,
              body: report.markdown,
              labels: ['test-failure', 'automated'],
            });
```

## Dashboard Metrics

```typescript
// dashboard/test-metrics.ts
export interface TestMetrics {
  totalTests: number;
  passed: number;
  failed: number;
  skipped: number;
  duration: number;
  failureRate: number;

  failuresByCategory: Record<FailureCategory, number>;
  failuresByOwner: Record<string, number>;
  flakyTests: string[];
  slowTests: Array<{ name: string; duration: number }>;
}

export function generateMetrics(results: TestResult[]): TestMetrics {
  const failures = results.filter((r) => r.status === "failed");
  const analyzer = new FailureAnalyzer();

  const categorized = failures.map((f) =>
    analyzer.categorize(f.error, f.testName)
  );

  return {
    totalTests: results.length,
    passed: results.filter((r) => r.status === "passed").length,
    failed: failures.length,
    skipped: results.filter((r) => r.status === "skipped").length,
    duration: results.reduce((sum, r) => sum + r.duration, 0),
    failureRate: (failures.length / results.length) * 100,

    failuresByCategory: categorized.reduce((acc, f) => {
      acc[f.category] = (acc[f.category] || 0) + 1;
      return acc;
    }, {} as Record<FailureCategory, number>),

    failuresByOwner: categorized.reduce((acc, f) => {
      acc[f.suggestedOwner] = (acc[f.suggestedOwner] || 0) + 1;
      return acc;
    }, {} as Record<string, number>),

    flakyTests: identifyFlakyTests(results),
    slowTests: results
      .filter((r) => r.duration > 5000)
      .sort((a, b) => b.duration - a.duration)
      .slice(0, 10),
  };
}
```

## Best Practices

1. **Auto-categorize**: Classify failures automatically
2. **Suggest owners**: Route to right team
3. **Actionable fixes**: Provide clear next steps
4. **Track trends**: Monitor failure patterns
5. **Notify quickly**: Slack/email on failures
6. **Create issues**: Auto-file for persistent failures
7. **Dashboard**: Visual metrics for team

## Output Checklist

- [ ] Failure categorization logic
- [ ] Owner assignment rules
- [ ] Fix checklists per category
- [ ] Report generation (Markdown/Slack)
- [ ] CI integration
- [ ] GitHub issue creation
- [ ] Slack notifications
- [ ] Dashboard metrics
- [ ] Trend analysis
- [ ] Flaky test detection

© patricio0312rev · MIT · patricio0312rev/skills

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
test:triage antithesishq Скилл test:triage для Claude Code проверяет antithesis-triage: субагенты триажут реальные прогоны Antithesis, а оркестратор ищет в их трассах баги и нарушения протокола. CX Codex +1 406установок triage-flaky-test datadog-labs Скилл triage-flaky-test анализирует историю нестабильного теста в Datadog, вычисляет причину сбоя и советует изоляцию или исправление. CX Codex +1 362установок test-triage официальный OpenAI Скилл test-triage разбирает падения тестов под macOS в проектах на Xcode и SwiftPM. Помогает отделить сбои окружения и флаки от поломок в коде. CX Codex GP ChatGPT +1 51установок momentic-result-classification momentic-ai Скилл momentic-result-classification разбирает упавшие прогоны тестов Momentic через MCP: находит первое место, где прогон сломался, объясняет причину и раскладывает её по категориям. CX Codex +1 68 500установок flaky-test-triage davila7 Слэш-команда flaky-test-triage находит тест, который то проходит, то падает без изменений в коде, и вычищает причину — гонку, зависимость от порядка, утечку состояния. CX Codex +1 24установок test-reporting-analytics proffesor-for-testing Скилл test-reporting-analytics формирует дашборды качества, отчёты для руководства и прогнозирует сбои тестов по diff в коде. Пригодится при контроле релизов и разборе динамики метрик в CI/CD. CX Codex +1 126установок

Из того же набора148

Весь набор →
vscode-rest-client-generator Скилл vscode-rest-client-generator для Claude Code находит маршруты в Express, Next.js и Fastify и генерирует .http-файлы для VS Code REST Client. Файлы содержат запросы для ручного тестирования API в редакторе без Postman. CX Codex +1 259установок embedding-pipeline-builder Скилл embedding-pipeline-builder для Claude Code собирает пайплайны эмбеддингов документов: загрузку, очистку, чанкинг, индексацию и настройку поиска. Поддерживает RAG и семантическую индексацию. CX Codex +1 259установок llm-debugger Скилл llm-debugger находит причины сбоев в ответах нейросетей, правит системные промпты и генерирует регрессионные тесты для фиксации ошибок. CX Codex +1 259установок tool-function-schema-designer Скилл tool-function-schema-designer помогает описать инструменты для LLM так, чтобы модель вызывала их с валидными аргументами: JSON-схема, типы, проверка через zod и примеры вызовов. CX Codex +1 258установок mocking-assistant Скилл mocking-assistant помогает создавать моки для API, сервисов и UI через MSW и Vitest: от фикстур данных до перехвата системного времени в тестах. CX Codex +1 256установок service-layer-extractor Скилл service-layer-extractor выносит бизнес-логику из контроллеров в сервисы и репозитории. Помогает навести порядок в раздутых роутах и подготовить код к юнит-тестам. CX Codex +1 255установок rag-pipeline-builder Скилл rag-pipeline-builder проектирует RAG-пайплайн для ассистента по документам: чанкинг, метаданные, гибридный поиск, реранкинг и план оценки качества. CX Codex +1 251установок preview-environments-builder Скилл preview-environments-builder генерирует пайплайны временных окружений для каждого пулл-реквеста с автоматическим развёртыванием, уникальным адресом и удалением ресурсов после закрытия PR. CX Codex +1 250установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой