К основному содержанию
скилл CX Codex

evaluation-harness — скилл для Claude Code: оценка LLM и регрессии

Скилл evaluation-harness для Claude Code и ещё пяти агентных платформ, который выстраивает повторяемую оценку LLM-приложений: golden-датасеты, рубрики скоринга, пороги pass/fail и отчёты о регрессиях.

MIT 275 установок ★ 64 обновлён 2026-01-12

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add patricio0312rev/skills --skill evaluation-harness -a claude-code
Открыть на GitHub

Что делает evaluation-harness

Скилл разворачивает каркас оценки: тестовые примеры хранятся в JSON с полями input, expected_output и рубрикой, где каждая метрика получает вес. Дальше идут функции скоринга — от точного совпадения строк до семантической близости эмбеддингов и LLM-судьи, который выставляет оценки по критериям из рубрики.

Тестовый раннер EvaluationHarness прогоняет модель по датасету, собирает результаты и проверяет пороги по категориям. Для code_generation, например, correctness должен быть не ниже 0.9, а style — не ниже 0.7. Пороги задаются в словаре THRESHOLDS, и если хотя бы одна метрика не дотягивает, тест считается проваленным.

Регрессионный отчёт сравнивает два прогона — baseline и текущий — и помечает регрессии, улучшения и неизменившиеся тесты. Есть функция ci_evaluation, которая запускает оценку на каждом коммите и падает с sys.exit(1), если нашлась хоть одна регрессия. Чек-лист в конце скилла требует от 50 примеров в датасете.

Какие задачи решает

  • собрать golden-датасет с ожидаемыми ответами и рубриками
  • настроить несколько метрик скоринга вместо одной
  • задать пороги pass/fail по категориям
  • ловить регрессии при изменении модели или промпта
  • встроить оценку в CI и падать при регрессиях

Примеры запросов агенту

  • Собери golden-датасет из 50 примеров для моей задачи суммаризации, разбей по категориям и пропиши рубрики
  • Напиши раннер, который прогоняет текущую модель по датасету и сравнивает с baseline из baseline_results.json
  • Настрой CI: оценка запускается на каждый коммит, при регрессиях падает с ненулевым кодом

Как установить evaluation-harness

1Через Skills CLI (Vercel)

npx skills add patricio0312rev/skills --skill evaluation-harness -a claude-code

2Вручную: положить файлы

~/.claude/skills/evaluation-harness/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/evaluation-harness/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об evaluation-harness

Как установить evaluation-harness в Claude Code?

Выполни npx skills add patricio0312rev/skills --skill evaluation-harness -a claude-code, затем скилл появится в ~/.claude/skills/evaluation-harness/SKILL.md.

Что делает evaluation-harness?

Строит систему оценки LLM-приложений: golden-датасет с ожидаемыми ответами, функции скоринга, пороги прохождения, тестовый раннер и отчёт о регрессиях между прогонами.

Какие метрики скоринга поддерживаются?

Четыре: точное совпадение строк, семантическая близость через косинусное сходство эмбеддингов, процент найденных ключевых слов и оценка LLM-судьёй по критериям рубрики.

Исходный текст

SKILL.md · MIT
---
name: evaluation-harness
description: Builds repeatable evaluation systems with golden datasets, scoring rubrics, pass/fail thresholds, and regression reports. Use for "LLM evaluation", "testing AI systems", "quality assurance", or "model benchmarking".
---

# Evaluation Harness

Build systematic evaluation frameworks for LLM applications.

## Golden Dataset Format

```json
[
  {
    "id": "test_001",
    "category": "code_generation",
    "input": "Write a Python function to reverse a string",
    "expected_output": "def reverse_string(s: str) -> str:\n    return s[::-1]",
    "rubric": {
      "correctness": 1.0,
      "style": 0.8,
      "documentation": 0.5
    },
    "metadata": {
      "difficulty": "easy",
      "tags": ["python", "strings"]
    }
  }
]
```

## Scoring Rubrics

```python
from typing import Dict, Any

def score_exact_match(actual: str, expected: str) -> float:
    """Binary score: 1.0 if exact match, 0.0 otherwise"""
    return 1.0 if actual.strip() == expected.strip() else 0.0

def score_semantic_similarity(actual: str, expected: str) -> float:
    """Cosine similarity of embeddings"""
    actual_emb = get_embedding(actual)
    expected_emb = get_embedding(expected)
    return cosine_similarity(actual_emb, expected_emb)

def score_contains_keywords(actual: str, keywords: List[str]) -> float:
    """Percentage of required keywords present"""
    found = sum(1 for kw in keywords if kw.lower() in actual.lower())
    return found / len(keywords)

def score_with_llm(actual: str, expected: str, rubric: Dict[str, float]) -> Dict[str, float]:
    """Use LLM as judge"""
    prompt = f"""
    Grade this output on a scale of 0-1 for each criterion:

    Expected: {expected}
    Actual: {actual}

    Criteria: {', '.join(rubric.keys())}

    Return JSON with scores.
    """
    return json.loads(llm(prompt))
```

## Test Runner

```python
class EvaluationHarness:
    def __init__(self, dataset_path: str):
        self.dataset = self.load_dataset(dataset_path)
        self.results = []

    def run_evaluation(self, model_fn):
        for test_case in self.dataset:
            # Generate output
            actual = model_fn(test_case["input"])

            # Score
            scores = self.score_output(
                actual,
                test_case["expected_output"],
                test_case["rubric"]
            )

            # Record result
            self.results.append({
                "test_id": test_case["id"],
                "category": test_case["category"],
                "scores": scores,
                "passed": self.check_threshold(scores, test_case),
                "actual_output": actual,
            })

        return self.generate_report()

    def score_output(self, actual, expected, rubric):
        return {
            "exact_match": score_exact_match(actual, expected),
            "semantic_similarity": score_semantic_similarity(actual, expected),
            **score_with_llm(actual, expected, rubric)
        }

    def check_threshold(self, scores, test_case):
        min_scores = test_case.get("min_scores", {})
        for metric, threshold in min_scores.items():
            if scores.get(metric, 0) < threshold:
                return False
        return True
```

## Thresholds & Pass Criteria

```python
# Define thresholds per category
THRESHOLDS = {
    "code_generation": {
        "correctness": 0.9,
        "style": 0.7,
    },
    "summarization": {
        "semantic_similarity": 0.8,
        "brevity": 0.7,
    },
    "classification": {
        "exact_match": 1.0,
    }
}

def check_test_passed(result: Dict) -> bool:
    category = result["category"]
    thresholds = THRESHOLDS.get(category, {})

    for metric, threshold in thresholds.items():
        if result["scores"].get(metric, 0) < threshold:
            return False

    return True
```

## Regression Report

```python
def generate_regression_report(baseline_results, current_results):
    report = {
        "summary": {},
        "regressions": [],
        "improvements": [],
        "unchanged": 0
    }

    for baseline, current in zip(baseline_results, current_results):
        assert baseline["test_id"] == current["test_id"]

        baseline_passed = baseline["passed"]
        current_passed = current["passed"]

        if baseline_passed and not current_passed:
            report["regressions"].append({
                "test_id": baseline["test_id"],
                "category": baseline["category"],
                "baseline_scores": baseline["scores"],
                "current_scores": current["scores"],
            })
        elif not baseline_passed and current_passed:
            report["improvements"].append(baseline["test_id"])
        else:
            report["unchanged"] += 1

    report["summary"] = {
        "total_tests": len(baseline_results),
        "regressions": len(report["regressions"]),
        "improvements": len(report["improvements"]),
        "unchanged": report["unchanged"],
    }

    return report
```

## Continuous Evaluation

```python
# Run evaluation on every commit
def ci_evaluation():
    harness = EvaluationHarness("golden_dataset.json")
    results = harness.run_evaluation(production_model)

    # Check for regressions
    baseline = load_baseline("baseline_results.json")
    report = generate_regression_report(baseline, results)

    # Fail CI if regressions
    if report["summary"]["regressions"] > 0:
        print(f"❌ {report['summary']['regressions']} regressions detected!")
        sys.exit(1)

    print("✅ All tests passed!")
```

## Best Practices

1. **Representative dataset**: Cover edge cases
2. **Multiple metrics**: Don't rely on one score
3. **Human validation**: Review LLM judge scores
4. **Version datasets**: Track changes over time
5. **Automate in CI**: Catch regressions early
6. **Regular updates**: Add new test cases

## Output Checklist

- [ ] Golden dataset created (50+ examples)
- [ ] Multiple scoring functions
- [ ] Pass/fail thresholds defined
- [ ] Test runner implemented
- [ ] Regression comparison
- [ ] Report generation
- [ ] CI integration
- [ ] Baseline established

© patricio0312rev · MIT · patricio0312rev/skills

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
llm-evaluation Seth Hobson Скилл llm-evaluation для Claude Code, Codex и Cursor: оценка качества LLM-приложений через автоматические метрики, разметку человеком, LLM-as-judge и бенчмарки. Ловит регрессии перед деплоем и сравнивает модели. CX Codex +1 12 755установок genai-hub-prompt-evaluation SAP Скилл genai-hub-prompt-evaluation для Claude Code и других платформ оценивает генеративные модели и промпты на SAP AI Core. Запускается при обращении к бенчмаркам LLM, метрикам и конфигурациям оркестрации. CX Codex +1 185установок evaluation-lm-evaluation-harness Orchestra Research Скилл evaluation-lm-evaluation-harness для Claude Code, который запускает оценку языковых моделей по 60+ академическим бенчмаркам: MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag. Работает с моделями через HuggingFace, vLLM и API. CX Codex +1 92установок agent-evaluation mlflow Скилл agent-evaluation для Claude Code: системная оценка LLM-агентов через MLflow — датасеты, скореры, трейсинг. Выявляет ошибки в выборе инструментов и неполные ответы. CX Codex +1 1 100установок llm-eval-harness daymade Скилл llm-eval-harness для Claude Code, Codex, Cursor и других платформ: проверяет сторонний LLM-эндпоинт на доступность, скорость, точность следования system prompt и соответствие протоколу. CX Codex +1 438установок dspy-evaluation-suite OmidZamani Скилл dspy-evaluation-suite настраивает систематическую оценку программ DSPy на выборке примеров с замером метрик точности и параллельным запуском тестов. CX Codex +1 ★ 125звёзд репо

Из того же набора148

Весь набор →
insomnia-collection-generator Скилл insomnia-collection-generator сканирует эндпоинты в коде API на Express, Next.js или Fastify и собирает готовый файл экспорта рабочей области для Insomnia в формате v4. CX Codex +1 277установок security-pr-checklist-skill Скилл security-pr-checklist-skill для Claude Code создаёт повторяемый чек-лист безопасности для pull request. Чек-лист охватывает ревью кода, security gates и обязательные проверки. CX Codex +1 276установок design-to-component-translator Скилл design-to-component-translator для Claude Code переводит спецификации из Figma в React-компоненты с токенами, адаптивными правилами и состояниями интерфейса. Переносит макет в код. CX Codex +1 276установок secrets-env-manager Скилл secrets-env-manager помогает настроить проверку переменных окружения в CI, маскировать токены и находить утечки секретов до деплоя. CX Codex +1 276установок backend-latency-profiler-helper Скилл backend-latency-profiler-helper разбирает медленные эндпоинты API: находит узкие места, перечисляет возможные причины и раскладывает исправления по приоритетам. CX Codex +1 275установок rbac-policy-tester Скилл rbac-policy-tester генерирует матрицу проверок и тесты прав доступа, чтобы защитить ролевую модель от регрессий в CI. CX Codex +1 274установок etl-sync-job-builder Скилл etl-sync-job-builder помогает проектировать ETL-пайплайны и синхронизацию данных с водяными знаками, идемпотентными вставками и повторными попытками. CX Codex +1 274установок structured-logging-standardizer Скилл structured-logging-standardizer внедряет единую схему JSON-логов с correlation ID через AsyncLocalStorage и pino. Помогает связать ошибки бэкенда с конкретными запросами. CX Codex +1 273установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой