# evaluating-code-models

Скилл запускает бенчмарки для моделей генерации кода и считает pass@k. Нужен для сравнения моделей, языков и качества решений.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 953 установки · ★ 13956
- Автор: Orchestra Research
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/11-evaluation/bigcode-evaluation-harness/SKILL.md
- Обновлён: 2026-10-11
- HTML: https://affpapa.org/nevibecode/skills/evaluating-code-models

## Что делает

Скилл подключает BigCode Evaluation Harness для проверки моделей на HumanEval, MBPP, HumanEval+, MBPP+, MultiPL-E и других наборах. Агент помогает выбрать задачи, настроить генерацию, запустить выполнение кода и разобрать результаты pass@k. Для MultiPL-E предусмотрена проверка на 18 языках, включая Python, JavaScript, Java, C++, Go и Rust.

Внутри используются команды `accelerate launch main.py`, параметры модели, температуры, числа образцов и размера батча, а результаты можно сохранить в JSON через `--metric_output_path`. Для работы нужны `bigcode-evaluation-harness`, `transformers>=4.25.1`, `accelerate>=0.13.2` и `datasets>=2.6.1`. Поскольку оценка выполняет сгенерированный код, перед запуском проверьте настройку `--allow_code_execution`; для MultiPL-E в описанном сценарии применяется Docker.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill evaluating-code-models -a claude-code
```
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bigcode-evaluation-harness -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/bigcode-evaluation-harness/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/bigcode-evaluation-harness/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bigcode-evaluation-harness -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/bigcode-evaluation-harness/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bigcode-evaluation-harness -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/bigcode-evaluation-harness/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install Orchestra-Research/AI-Research-SKILLs bigcode-evaluation-harness
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/bigcode-evaluation-harness/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bigcode-evaluation-harness -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/Orchestra-Research/AI-Research-SKILLs --path 11-evaluation/bigcode-evaluation-harness
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/bigcode-evaluation-harness/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add Orchestra-Research/AI-Research-SKILLs --skill bigcode-evaluation-harness -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/Orchestra-Research/AI-Research-SKILLs/tree/HEAD/11-evaluation/bigcode-evaluation-harness/SKILL.md

## Когда брать
- сравнить модели на HumanEval и MBPP
- посчитать pass@1, pass@10 и pass@100
- проверить генерацию кода на 18 языках
- сохранить результаты оценки в JSON
- настроить проверку instruction-моделей

## Примеры запросов агенту
- Установи зависимости и запусти `bigcode/starcoder2-7b` на `humaneval` с сохранением результатов в `results/starcoder2-humaneval.json`.
- Сравни `bigcode/starcoder2-7b` и `codellama/CodeLlama-7b-hf` на `humaneval,mbpp`, используя одинаковые параметры генерации.
- Проверь MultiPL-E для Python, JavaScript, Java и C++ через генерацию без выполнения, затем оцени решения в Docker.

## Похожие
- [langfuse](https://affpapa.org/nevibecode/skills/langfuse-langfuse.md) — скилл · 19800 установок
- [llm-evaluation](https://affpapa.org/nevibecode/skills/llm-evaluation.md) — скилл · 12755 установок
- [eval-driven-dev](https://affpapa.org/nevibecode/skills/eval-driven-dev.md) — скилл · 3900 установок
- [ai-evals](https://affpapa.org/nevibecode/skills/ai-evals.md) — скилл · 2100 установок
- [setup](https://affpapa.org/nevibecode/skills/setup.md) — скилл · 1480 установок
- [arize-dataset](https://affpapa.org/nevibecode/skills/arize-dataset.md) — скилл · 1100 установок

Из того же набора: [orchestra-research/ai-research-skills](https://affpapa.org/nevibecode/by/orchestra-research/ai-research-skills.md) — 66 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md