# devtu-benchmark-harness

Скилл devtu-benchmark-harness для Claude Code и Codex запускает пятишаговый цикл тестирования инструментов ToolUniverse: прогон бенчмарка, анализ ошибок, диагностика, маршрутизация исправлений, повторный тест.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 148 установок · ★ 1798 у репозитория
- Автор: mims-harvard
- Лицензия: Apache-2.0 · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/mims-harvard/ToolUniverse/tree/HEAD/skills/devtu-benchmark-harness/SKILL.md
- Обновлён: 2026-10-24
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/devtu-benchmark-harness

## Что делает

Его задача — не разовая проверка, а замкнутый цикл: каждый прогон выявляет провальные категории, указывает конкретный devtu-скилл для исправления и позволяет немедленно перепроверить только упавшие вопросы.

Одна команда `bash skills/devtu-benchmark-harness/scripts/run_harness_loop.sh --benchmark bixbench --n 20 --seed 42` выполняет аудит меморизации, сборку плагина, запуск бенчмарка и диагностику — результаты складываются в `temp_docs_and_tests/benchmark_tracking/run_<TS>/`. Скрипт `analyze_results.py` раскладывает провалы по скиллам (DESeq2, ANOVA, single-cell, phylogenetics и другим) и по типам ошибок: `timeout`, `wrong_answer`, `tool_error`, `api_key_missing`. Маршрутизация чёткая: диагноз указывает, какой из devtu-скиллов вызывать, ручные правки намеренно исключены из процесса.

Перед принятием любого изменения скилла запускается `check_memorization.py --all` — он отклоняет правки, содержащие имена бенчмарков, UUID капсул или конкретные числовые ответы из датасета. Это исключает переобучение плагина под одну таблицу ответов. Первый запуск bixbench требует скачать ~5 ГБ данных капсул и установить R-пакеты через `Rscript skills/evals/install_r_packages.R`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mims-harvard/ToolUniverse --skill devtu-benchmark-harness -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/devtu-benchmark-harness/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/devtu-benchmark-harness/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mims-harvard/ToolUniverse --skill devtu-benchmark-harness -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/devtu-benchmark-harness/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mims-harvard/ToolUniverse --skill devtu-benchmark-harness -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/devtu-benchmark-harness/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install mims-harvard/ToolUniverse skills/devtu-benchmark-harness
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/devtu-benchmark-harness/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add mims-harvard/ToolUniverse --skill devtu-benchmark-harness -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/mims-harvard/ToolUniverse --path skills/devtu-benchmark-harness
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/devtu-benchmark-harness/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add mims-harvard/ToolUniverse --skill devtu-benchmark-harness -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/mims-harvard/ToolUniverse/tree/HEAD/skills/devtu-benchmark-harness/SKILL.md

## Когда брать
- прогнать бенчмарк bixbench или lab-bench и получить структурированный отчёт по провалам
- определить, какой devtu-скилл отвечает за конкретную категорию ошибок
- проверить, не переобучен ли скилл под конкретный набор ответов
- перепрогнать только упавшие вопросы после применения исправления
- отличить ошибку агента от некорректного ground truth в датасете

## Примеры запросов агенту
- Запусти цикл бенчмарка bixbench на 20 вопросах: `bash skills/devtu-benchmark-harness/scripts/run_harness_loop.sh --benchmark bixbench --n 20 --seed 42`
- Проанализируй результаты из `results.json` и покажи, какие скиллы проваливаются чаще всего
- Перепрогони только упавшие вопросы из `failures.json` после применения исправлений

## Похожие
- [cost-benchmark](https://affpapa.org/nevibecode/skills/cost-benchmark.md) — скилл · 679 установок
- [benchmark-checklist](https://affpapa.org/nevibecode/skills/benchmark-checklist.md) — скилл · 9100 установок
- [llm-eval-harness](https://affpapa.org/nevibecode/skills/llm-eval-harness.md) — скилл · 438 установок
- [benchmark](https://affpapa.org/nevibecode/skills/takagoto-benchmark.md) — скилл · ★ 30 у репозитория
- [benchmark-models](https://affpapa.org/nevibecode/skills/benchmark-models.md) — скилл · 341 установка
- [benchmark-vllm-model](https://affpapa.org/nevibecode/skills/benchmark-vllm-model.md) — скилл · 1900 установок

Из того же набора: [mims-harvard/tooluniverse](https://affpapa.org/nevibecode/by/mims-harvard/tooluniverse.md) — 136 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
