К основному содержанию
скилл CX Codex

prompt-regression-tester — скилл для Claude Code

Скилл prompt-regression-tester сравнивает старую и новую версии промпта на наборе тестов, находит регрессии и предлагает правки.

MIT 265 установок ★ 64 обновлён 2026-01-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add patricio0312rev/skills --skill prompt-regression-tester -a claude-code
Открыть на GitHub

Что делает prompt-regression-tester

Скилл прогоняет два варианта промпта через массив тест-кейсов в формате JSON. Для каждого теста проверяются ключевые слова в must_include и must_not_include, соответствие формату и допустимая длина ответа.

Внутри заложена логика подсчёта метрик стабильности: семантическая близость ответов, сохранение структуры и соблюдение ограничений. Если новая версия ответа отклоняется по длине более чем на 30% от expected_length или теряет обязательные термины, скилл регистрирует поломку.

По итогам формируется отчёт со сводкой изменений, списком деградаций и готовыми подсказками по исправлению формулировок.

Какие задачи решает

  • найти регрессии в генерациях при обновлении системного промпта
  • проверить наличие обязательных и отсутствие запрещённых слов в ответах LLM
  • оценить отклонение длины и формата нового вывода от базового
  • сформировать отчёт с метриками стабильности и предложениями по правкам

Примеры запросов агенту

  • Протестируй изменения в prompt_v2.txt против prompt_v1.txt по тест-кейсам из test_cases.json
  • Сделай анализ поломок нового промпта классификатора и предложи исправления
  • Рассчитай метрики стабильности вывода для новой версии инструкции

Как установить prompt-regression-tester

1Через Skills CLI (Vercel)

npx skills add patricio0312rev/skills --skill prompt-regression-tester -a claude-code

2Вручную: положить файлы

~/.claude/skills/prompt-regression-tester/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/prompt-regression-tester/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о prompt-regression-tester

Как установить prompt-regression-tester в Claude Code?

Выполните в терминале команду npx skills add patricio0312rev/skills --skill prompt-regression-tester -a claude-code.

Что делает prompt-regression-tester?

Скилл выполняет регрессионное тестирование промптов: сопоставляет результаты двух версий на наборе данных, вычисляет метрики совпадения и группирует ошибки.

Какие критерии определяют регрессию в ответах?

Регрессией считаются пропуск слов из списка must_include, появление запрещённых фраз из must_not_include, нарушение схемы формата или отклонение длины ответа более чем на 30%.

Исходный текст

SKILL.md · MIT
---
name: prompt-regression-tester
description: Compares old vs new prompts across test cases with diff summaries, stability metrics, breakage analysis, and fix suggestions. Use for "prompt testing", "A/B testing prompts", "prompt versioning", or "quality regression".
---

# Prompt Regression Tester

Systematically test prompt changes to prevent regressions.

## Test Case Format

```json
{
  "test_cases": [
    {
      "id": "test_001",
      "input": "Summarize this article",
      "context": "Article text here...",
      "expected_behavior": "Concise 2-3 sentence summary",
      "baseline_output": "Output from v1.0 prompt",
      "must_include": ["main point", "conclusion"],
      "must_not_include": ["opinion", "speculation"]
    }
  ]
}
```

## Comparison Framework

```python
def compare_prompts(old_prompt, new_prompt, test_cases):
    results = {
        "test_cases": [],
        "summary": {
            "total": len(test_cases),
            "improvements": 0,
            "regressions": 0,
            "unchanged": 0,
        },
        "breakages": []
    }

    for test in test_cases:
        old_output = llm(old_prompt.format(**test))
        new_output = llm(new_prompt.format(**test))

        comparison = {
            "test_id": test["id"],
            "old_output": old_output,
            "new_output": new_output,
            "diff": compute_diff(old_output, new_output),
            "scores": {
                "old": score_output(old_output, test),
                "new": score_output(new_output, test),
            },
            "verdict": classify_change(old_output, new_output, test)
        }

        results["test_cases"].append(comparison)
        results["summary"][comparison["verdict"]] += 1

        if comparison["verdict"] == "regressions":
            results["breakages"].append(analyze_breakage(comparison, test))

    return results
```

## Stability Metrics

```python
def calculate_stability_metrics(results):
    return {
        "output_stability": measure_output_consistency(results),
        "format_stability": check_format_preservation(results),
        "constraint_adherence": check_constraints(results),
        "behavioral_consistency": measure_behavior_delta(results),
    }

def measure_output_consistency(results):
    """How similar are outputs between versions?"""
    similarities = []
    for result in results["test_cases"]:
        sim = semantic_similarity(
            result["old_output"],
            result["new_output"]
        )
        similarities.append(sim)
    return sum(similarities) / len(similarities)
```

## Breakage Analysis

```python
def analyze_breakage(comparison, test_case):
    """Identify why the new prompt failed"""
    reasons = []

    new_out = comparison["new_output"]

    # Missing required content
    for keyword in test_case.get("must_include", []):
        if keyword.lower() not in new_out.lower():
            reasons.append(f"Missing required content: '{keyword}'")

    # Contains forbidden content
    for keyword in test_case.get("must_not_include", []):
        if keyword.lower() in new_out.lower():
            reasons.append(f"Contains forbidden content: '{keyword}'")

    # Format violations
    if not check_format(new_out, test_case.get("expected_format")):
        reasons.append("Output format violation")

    # Length issues
    expected_length = test_case.get("expected_length")
    if expected_length:
        actual_length = len(new_out.split())
        if abs(actual_length - expected_length) > expected_length * 0.3:
            reasons.append(f"Length deviation: expected ~{expected_length}, got {actual_length}")

    return {
        "test_id": test_case["id"],
        "reasons": reasons,
        "old_output": comparison["old_output"][:100],
        "new_output": comparison["new_output"][:100],
    }
```

## Fix Suggestions

```python
def suggest_fixes(breakages):
    """Generate fix suggestions based on breakage patterns"""
    suggestions = []

    # Group breakages by reason
    reason_groups = {}
    for breakage in breakages:
        for reason in breakage["reasons"]:
            if reason not in reason_groups:
                reason_groups[reason] = []
            reason_groups[reason].append(breakage["test_id"])

    # Generate suggestions
    for reason, test_ids in reason_groups.items():
        if "Missing required content" in reason:
            suggestions.append({
                "issue": reason,
                "affected_tests": test_ids,
                "suggestion": "Add explicit instruction in prompt to include this content",
                "example": f"Make sure to mention {reason.split(':')[1]} in your response."
            })
        elif "format violation" in reason:
            suggestions.append({
                "issue": reason,
                "affected_tests": test_ids,
                "suggestion": "Add stricter format constraints to prompt",
                "example": "Output must follow this exact format: ..."
            })

    return suggestions
```

## Report Generation

```markdown
# Prompt Regression Report

## Summary

- **Total tests:** 50
- **Improvements:** 5 (10%)
- **Regressions:** 3 (6%)
- **Unchanged:** 42 (84%)

## Stability Metrics

- **Output stability:** 0.87
- **Format stability:** 0.95
- **Constraint adherence:** 0.94

## Regressions (3)

### test_005: Missing required content

**Old output:** "The main benefit is cost savings..."
**New output:** "This approach provides flexibility..."
**Issue:** Missing required keyword 'cost'
**Fix:** Add explicit instruction: "Mention cost implications in your response"

## Recommended Actions

1. Revert changes that caused regressions (tests: 005, 012, 023)
2. Add format constraints for JSON output
3. Run full test suite before deployment
```

## Best Practices

- Test with diverse inputs
- Compare across multiple runs (LLMs are stochastic)
- Track metrics over time
- Automate in CI/CD
- Review all regressions before deploy
- Maintain test case library

## Output Checklist

- [ ] Test cases defined (30+)
- [ ] Comparison runner
- [ ] Stability metrics
- [ ] Breakage analyzer
- [ ] Fix suggestions
- [ ] Diff visualizer
- [ ] Automated report
- [ ] CI integration

© patricio0312rev · MIT · patricio0312rev/skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
prompt-regression chrono-meta Скилл prompt-regression для Claude Code, Codex, Cursor и других агентов статически проверяет файлы харнесса после изменений в правилах или скиллах. Запускает набор проб и выдаёт PASS/FAIL/SKIP по каждой — без живых сессий. CX Codex +1 ★ 33звёзд репо ai-regression-testing affaan-m Скилл ai-regression-testing для регрессионного тестирования кода, который писал ИИ. Ловит баги, которые модель пропускает при самопроверке. CX Codex +1 6 400установок regression-hunt trailofbits Скилл regression-hunt для Claude Code, помогающий расследовать регрессии в PR и коммитах. Запускает кампании по поиску ошибок и возобновляет прерванную работу. CX Codex +1 685установок ui-regression fcakyon Скилл ui-regression проверяет интерфейсы веб-приложений и браузерных расширений на локальном сервере, стейджинге или проде: сценарии, локализацию, ошибки и вёрстку. CX Codex +1 ★ 1 216звёзд репо skill-regression-evaluator ShuaiMXu Скилл skill-regression-evaluator для Claude Code и Codex сопоставляет версию скилла с регрессионными сценариями. Предотвращает незаметную поломку ранее утверждённого поведения после правок. CX Codex +1 ★ 529звёзд репо regression-case-author ShuaiMXu Скилл regression-case-author для Claude Code превращает проверенные продуктовые изменения в переносимые регрессионные тесты для агентов. Фиксирует поведение навыков на реальных примерах. CX Codex +1 ★ 529звёзд репо

Из того же набора148

Весь набор →
vector-db-setup Скилл vector-db-setup помогает развернуть векторные базы данных (Pinecone, Chroma, pgvector, Qdrant) и настроить семантический поиск с генерацией эмбеддингов OpenAI. CX Codex +1 266установок capacity-planning-helper Скилл capacity-planning-helper считает, сколько инстансов, базы и кеша нужно под прогноз трафика, и прикидывает месячный счёт по прайсу AWS. CX Codex +1 265установок data-seeding-fixtures-builder Скилл data-seeding-fixtures-builder генерирует детерминированные тестовые данные, фабрики сущностей и скрипты сброса базы данных для разработки и тестов. CX Codex +1 265установок docs-starter-kit Скилл docs-starter-kit генерирует комплект проектной документации: файлы README, CONTRIBUTING, SECURITY, лицензию и правила поведения для открытых и закрытых репозиториев. CX Codex +1 265установок release-automation-builder Скилл release-automation-builder для Claude Code настраивает автоматические релизы и публикацию пакетов. Запускается по запросам о версиях, журнале изменений или выпуске пакета. CX Codex +1 265установок postmortem-writer Скилл postmortem-writer собирает разбор инцидента в готовый документ: таймлайн, корневая причина, задачи с владельцами. Пригодится, пока детали аварии ещё свежи в памяти. CX Codex +1 265установок schema-consistency-checker Скилл schema-consistency-checker проверяет схему базы на единый стиль имён, типы id, NULL в критичных полях и внешние ключи без индекса, а потом отдаёт список нарушений с рекомендациями. CX Codex +1 265установок deployment-checklist-generator Скилл deployment-checklist-generator создаёт чек-листы деплоя, смоук-тесты, пайплайны GitHub Actions и планы верификации релиза для безопасного выкатывания в прод. CX Codex +1 264установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой