# promptfoo-evaluation

Скилл помогает настроить и запустить оценку LLM через Promptfoo: конфиг promptfooconfig.yaml, свои проверки на Python, судейство моделью по рубрике.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1500 установок · ★ 1493
- Автор: daymade
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/daymade/claude-code-skills/tree/HEAD/promptfoo-evaluation/SKILL.md
- Обновлён: 2026-10-25
- HTML: https://affpapa.org/nevibecode/skills/promptfoo-evaluation

## Что делает

Скилл ведёт агента по структуре проекта Promptfoo: главный конфиг, папка `prompts/` с текстовыми и чат-промптами в JSON, `tests/cases.yaml` с тест-кейсами и `scripts/` для своих проверок на Python. Запуск идёт через `npx promptfoo@latest init`, `eval` и `view` — последняя команда открывает результаты в браузере.

Проверки бывают простые и составные. Кроме встроенных `contains`, `equals`, `regex` и `latency` можно написать функцию на Python: она получает вывод и контекст, возвращает `pass`, `score` и причину. Для оценки качества текста есть `llm-rubric` — судья-модель со своим порогом, например `threshold: 0.7`.

Если вы ходите в модели через релей или прокси, у каждой проверки `llm-rubric` должен быть свой `provider` с `apiBaseUrl`: настройка основного провайдера не наследуется, иначе судья уйдёт на стандартный эндпоинт и получит 401. Ещё одна частая ловушка — пути `file://` считаются от места `promptfooconfig.yaml`, а не от того YAML, где они записаны. И `maxConcurrency` работает только внутри `commandLineOptions`.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add daymade/claude-code-skills --skill promptfoo-evaluation -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/promptfoo-evaluation/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/promptfoo-evaluation/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add daymade/claude-code-skills --skill promptfoo-evaluation -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/promptfoo-evaluation/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add daymade/claude-code-skills --skill promptfoo-evaluation -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/promptfoo-evaluation/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install daymade/claude-code-skills promptfoo-evaluation
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/promptfoo-evaluation/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add daymade/claude-code-skills --skill promptfoo-evaluation -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/daymade/claude-code-skills --path promptfoo-evaluation
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/promptfoo-evaluation/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add daymade/claude-code-skills --skill promptfoo-evaluation -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/daymade/claude-code-skills/tree/HEAD/promptfoo-evaluation/SKILL.md

## Когда брать
- сравнить ответы двух моделей на одном наборе промптов
- написать свою проверку вывода на Python и вернуть score
- поставить оценку тексту моделью-судьёй по рубрике
- собрать тест-кейсы в отдельный YAML с переменными из файлов
- настроить прогон через релей с `apiBaseUrl`

## Примеры запросов агенту
- настрой Promptfoo для моего промпта и запусти eval
- добавь в конфиг проверку llm-rubric с порогом 0.7
- почему мой llm-rubric падает с 401 при работе через прокси?

## Похожие
- [arize-evaluator](https://affpapa.org/nevibecode/skills/arize-arize-evaluator.md) — скилл · 3100 установок
- [agent-evaluation](https://affpapa.org/nevibecode/skills/mlflow-agent-evaluation.md) — скилл · 1100 установок
- [llm-evaluation](https://affpapa.org/nevibecode/skills/llm-evaluation.md) — скилл · 12755 установок
- [agent-evals](https://affpapa.org/nevibecode/skills/agent-evals.md) — скилл · 340 установок
- [eval-harness-first](https://affpapa.org/nevibecode/skills/eval-harness-first.md) — скилл · 2600 установок
- [write-judge-prompt](https://affpapa.org/nevibecode/skills/write-judge-prompt.md) — скилл · 1100 установок

Из того же набора: [daymade/claude-code-skills](https://affpapa.org/nevibecode/by/daymade/claude-code-skills.md) — 68 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md