# experiment-audit

Проверяет честность научных экспериментов через независимый внешний аудит перед публикацией результатов.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 465 установок · ★ 18090
- Автор: wanshuiyin
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep/tree/HEAD/skills/experiment-audit/SKILL.md
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/experiment-audit

## Что делает

Языковые модели при оптимизации задач могут искажать результаты тестов. Скилл борется с типичными сбоями: подделкой эталонных данных синтетикой, нормализацией метрик на собственный максимум модели и ссылками на несуществующие файлы с цифрами. Проверка отсекает недостоверные заявления ещё до того, как они попадут в отчёт.

Исполнитель не оценивает код сам. Он лишь находит скрипты метрик, файлы логов, конфиги и трекеры, а затем передаёт список путей внешнему рецензенту через MCP. По умолчанию запускается Codex MCP в режиме чтения, также поддерживается ручной бэкенд проверки. Рецензент изучает файлы напрямую и ищет манипуляции по строгому чек-листу.

Запускать скилл внутри `/loop` или по расписанию запрещено. Повторный прогон вердикта по таймеру не даёт нового сигнала и ведёт к самооправданию агента, поэтому аудит проводят строго один раз после окончания тестов.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill experiment-audit -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/experiment-audit/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/experiment-audit/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill experiment-audit -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/experiment-audit/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill experiment-audit -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/experiment-audit/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install wanshuiyin/Auto-claude-code-research-in-sleep experiment-audit
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/experiment-audit/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill experiment-audit -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep --path skills/experiment-audit
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/experiment-audit/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add wanshuiyin/Auto-claude-code-research-in-sleep --skill experiment-audit -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep/tree/HEAD/skills/experiment-audit/SKILL.md

## Когда брать
- выявить синтетический ground truth в скриптах оценки
- найти скрытую нормализацию метрик на максимум модели
- обнаружить ссылки на несуществующие файлы с результатами
- проверить репрезентативность объёма экспериментов

## Примеры запросов агенту
- Проверь честность экспериментов в папке results/
- Проведи аудит результатов перед оформлением отчёта
- Запусти experiment-audit для директории benchmarks/

## Похожие
- [hive-create-task](https://affpapa.org/nevibecode/skills/hive-create-task.md) — скилл · 531 установка
- [experiment-code](https://affpapa.org/nevibecode/skills/experiment-code.md) — скилл · 1600 установок
- [Research Harness Engineer](https://affpapa.org/nevibecode/agents/research-harness-engineer.md) — субагент · ★ 40418
- [experiment-pipeline](https://affpapa.org/nevibecode/skills/experiment-pipeline.md) — скилл · 389 установок
- [experiment-craft](https://affpapa.org/nevibecode/skills/experiment-craft.md) — скилл · 373 установки
- [benchmark-paper-template](https://affpapa.org/nevibecode/skills/benchmark-paper-template.md) — скилл · 679 установок

Из того же набора: [wanshuiyin/auto-claude-code-research-in-sleep](https://affpapa.org/nevibecode/by/wanshuiyin/auto-claude-code-research-in-sleep.md) — 78 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md