# evaluation-lm-evaluation-harness

Скилл помогает запускать бенчмарки языковых моделей через lm-evaluation-harness, сравнивать результаты и отслеживать изменения качества на разных этапах обучения.

- скилл · `type=skill` · Claude Code · 92 установки
- Автор: Orchestra Research
- Лицензия: MIT · policy=link-only · показываем только описание, файл — у автора
- Исходник: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/evaluation-lm-evaluation-harness
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/skills/evaluation-lm-evaluation-harness

## Что делает

Скилл описывает работу с lm-evaluation-harness для проверки языковых моделей на академических бенчмарках. Среди поддерживаемых задач в примерах есть MMLU, GSM8K, HellaSwag, TruthfulQA и HumanEval. Результаты сохраняются в JSON, чтобы их можно было анализировать и сопоставлять между моделями.

В руководстве разобраны настройка модели HuggingFace, запуск нескольких тестов одной командой и обработка собственных чекпойнтов. Для наблюдения за обучением приведены сценарий `eval_checkpoint.sh` и пример интеграции с PyTorch Lightning. Скрипты также показывают, как собрать результаты нескольких моделей в сравнительную таблицу и построить график обучения.

Для запуска описанных команд потребуется пакет `lm-eval`, устанавливаемый через `pip install lm-eval`. Настройки `--device cuda:0` и `--batch_size` относятся к приведённым сценариям, поэтому их нужно соотнести с доступным оборудованием. HumanEval требует выполнения кода, а MMLU в примере периодической оценки не подходит из-за длительного запуска.

## Установка

### Claude Code (родная платформа)

1. **Через claude-code-templates**
```bash
npx claude-code-templates@latest --skill ai-research/evaluation-lm-evaluation-harness
```

2. **Через Skills CLI (Vercel)**
```bash
npx skills add davila7/claude-code-templates --skill evaluation-lm-evaluation-harness -a claude-code
```

3. **Вручную: положить файлы**
- Файл: `~/.claude/skills/evaluation-lm-evaluation-harness/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/evaluation-lm-evaluation-harness/

### Codex

**Вручную: положить файлы**
- Файл: `.agents/skills/evaluation-lm-evaluation-harness/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

**Вручную: положить файлы**
- Файл: `.cursor/skills/evaluation-lm-evaluation-harness/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install davila7/claude-code-templates evaluation-lm-evaluation-harness
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/evaluation-lm-evaluation-harness/SKILL.md`

### Gemini CLI

**Командой платформы**
```bash
gemini skills install https://github.com/davila7/claude-code-templates --path cli-tool/components/skills/ai-research/evaluation-lm-evaluation-harness
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/evaluation-lm-evaluation-harness/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/davila7/claude-code-templates/tree/HEAD/cli-tool/components/skills/ai-research/evaluation-lm-evaluation-harness

## Когда брать
- Проверить языковую модель на MMLU и GSM8K
- Сопоставить результаты нескольких моделей по общему набору тестов
- Сохранить метрики бенчмарков в JSON
- Отслеживать качество модели по мере обучения
- Построить график изменения результатов по чекпойнтам

## Примеры запросов агенту
- Настрой запуск `lm-eval` для моей модели HuggingFace и проверь её на `mmlu,gsm8k,hellaswag`.
- Сравни модели из `models.txt` по `mmlu,gsm8k,hellaswag,truthfulqa` и сохрани результаты в отдельные JSON-файлы.
- Подготовь периодическую оценку чекпойнтов через `eval_checkpoint.sh` и построй график обучения по сохранённым результатам.

## Похожие
- [skill-creator](https://affpapa.org/nevibecode/skills/skill-creator.md) — скилл · 414180 установок
- [writing-for-agents](https://affpapa.org/nevibecode/skills/writing-for-agents.md) — скилл · 466719 установок
- [media-use](https://affpapa.org/nevibecode/skills/media-use.md) — скилл · 1100000 установок
- [mcp-builder](https://affpapa.org/nevibecode/skills/mcp-builder.md) — скилл · 130949 установок
- [subagent-driven-development](https://affpapa.org/nevibecode/skills/subagent-driven-development.md) — скилл · 237746 установок
- [orchestration](https://affpapa.org/nevibecode/skills/orchestration.md) — скилл · 350300 установок

Из того же набора: [davila7/claude-code-templates](https://affpapa.org/nevibecode/by/davila7/claude-code-templates.md) — 651 карточка

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md