# llm-judge

Скилл llm-judge сравнивает две и более реализации одной задачи по файлу спецификации: собирает факты, ставит оценки по пяти измерениям и выдаёт отчёт с победителем.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 141 установка · ★ 89 у репозитория
- Автор: existential-birds
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/existential-birds/beagle/tree/HEAD/plugins/beagle-analysis/skills/llm-judge/SKILL.md
- Обновлён: 2026-09-15
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/llm-judge

## Что делает

Скилл берёт путь к файлу спецификации и два и более путей к репозиториям. Вызов выглядит как `/llm-judge <spec> <repo1> <repo2>`. Метки репозиториев по умолчанию берутся из имён каталогов, их можно переопределить через `--labels`, веса через `--weights`, ветку для сравнения через `--branch`.

Работа идёт в две фазы с проверками между ними. Сначала по каждому репозиторию собираются факты, без оценок. Потом пять судейских проходов, по одному на измерение: functionality, security, tests, overengineering, dead_code. Веса по умолчанию — 30, 25, 20, 15 и 10. Итог складывается в `.beagle/llm-judge-report.json`, файл проверяется через `python3 -c` и `json.load`, и только после этого показывается сводка.

Каждый путь должен быть git-репозиторием, в каталоге обязан лежать `.git`. Если его нет, проверка входов останавливает работу до всякого анализа. Это инструмент для сравнения конкурирующих реализаций, а не для ревью одной кодовой базы.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add existential-birds/beagle --skill llm-judge -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/llm-judge/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/llm-judge/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add existential-birds/beagle --skill llm-judge -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/llm-judge/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add existential-birds/beagle --skill llm-judge -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/llm-judge/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install existential-birds/beagle plugins/beagle-analysis/skills/llm-judge
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/llm-judge/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add existential-birds/beagle --skill llm-judge -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/existential-birds/beagle --path plugins/beagle-analysis/skills/llm-judge
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/llm-judge/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add existential-birds/beagle --skill llm-judge -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/existential-birds/beagle/tree/HEAD/plugins/beagle-analysis/skills/llm-judge/SKILL.md

## Когда брать
- выбрать между двумя PR, решающими одну задачу
- сравнить ответы вендоров на один запрос по спецификации
- посчитать взвешенный балл по функциональности, безопасности и тестам
- получить JSON с обоснованием каждой оценки
- найти переусложнение и мёртвый код в чужой кодовой базе

## Примеры запросов агенту
- \`/llm-judge docs/spec.md ./vendor-a ./vendor-b` — сравни обе реализации по спецификации и скажи, кто выиграл.
- \`/llm-judge spec.md ./ours ./theirs --labels=ours,theirs --weights=functionality:50,security:30,tests:20`
- \`/llm-judge requirements.md ./pr-120 ./pr-131 --branch=develop` — сравни ветки develop двух репозиториев.

## Похожие
- [judge-with-debate](https://affpapa.org/nevibecode/skills/judge-with-debate.md) — скилл · 1400 установок
- [eval-judge](https://affpapa.org/nevibecode/agents/eval-judge.md) — субагент · ★ 42780 у репозитория
- [om-judge-agent-session](https://affpapa.org/nevibecode/skills/om-judge-agent-session.md) — скилл · 954 установки
- [skill-judge](https://affpapa.org/nevibecode/plugins/skill-judge.md) — плагин · ★ 2707 у репозитория
- [mcp-as-a-judge](https://affpapa.org/nevibecode/mcp/mcp-as-a-judge.md) — MCP-сервер · ★ 17 у репозитория
- [the-judge](https://affpapa.org/nevibecode/skills/the-judge.md) — скилл · ★ 7191 у репозитория

Из того же набора: [existential-birds/beagle](https://affpapa.org/nevibecode/by/existential-birds/beagle.md) — 68 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
