# promptfoo-evals

Обучает Claude Code создавать и вести наборы тестов promptfoo для LLM. Помогает настроить проверки галлюцинаций, валидацию JSON и запуск проверок в CI.

- плагин · `type=plugin` · Claude Code · ★ 26372
- Автор: promptfoo
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/promptfoo/promptfoo/tree/HEAD/plugins/promptfoo-evals
- Обновлён: 2026-10-24
- HTML: https://affpapa.org/nevibecode/plugins/promptfoo-evals

## Что делает

Плагин передаёт ассистенту правила сборки тестовых сьютов `promptfoo`. Он приучает агента начинать с детерминированных проверок, правильно раскладывать тесты по файлам и задавать переменные окружения. Внутри заложена шпаргалка по более чем 30 типам проверок, шаблонам для провайдеров OpenAI, Anthropic, Bedrock и сценариям для HTTP, Python или JavaScript.

Агент учится проверять ответы моделей на фактическую точность и галлюцинации, тестировать схемы JSON и масштабировать проверки на таблицах данных. Сами тесты выполняются локально. Для запуска запросов к моделям понадобятся соответствующие ключи окружения, такие как `OPENAI_API_KEY`.

## Установка

### Claude Code (родная платформа)

**Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin marketplace add anthropics/claude-plugins-community
```
В чате агента (не в терминале):
```text
/plugin install promptfoo-evals@claude-community
```

## Когда брать
- настроить автоматическую оценку промптов и моделей
- проверить ответы LLM на галлюцинации и верность источнику
- составить конфигурацию тестов с валидацией JSON
- организовать запуск тестов promptfoo в CI/CD

## Примеры запросов агенту
- Создай конфигурацию promptfoo для проверки ответов с валидацией схемы JSON
- Добавь в конфиг promptfoo проверку на галлюцинации для моделей Anthropic и OpenAI
- Собери набор тестов promptfoo под запуск в CI/CD на готовом датасете

## Похожие
- [example-skills](https://affpapa.org/nevibecode/plugins/example-skills.md) — плагин · ★ 183839
- [ponytail](https://affpapa.org/nevibecode/plugins/ponytail.md) — плагин · ★ 176443
- [skill-creator](https://affpapa.org/nevibecode/plugins/skill-creator.md) — плагин · ★ 44635
- [pr-review-toolkit](https://affpapa.org/nevibecode/plugins/pr-review-toolkit.md) — плагин · ★ 44635
- [react19-upgrade](https://affpapa.org/nevibecode/plugins/react19-upgrade.md) — плагин · ★ 40418
- [react18-upgrade](https://affpapa.org/nevibecode/plugins/react18-upgrade.md) — плагин · ★ 40418

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md