# deepeval

Скиллы для прогонки метрик DeepEval, трассировки и датасетов прямо в Claude. Пригодится, когда нужно измерить качество агента или RAG-пайплайна.

- плагин · `type=plugin` · Claude Code · ★ 19108
- Автор: Confident AI
- Лицензия: Apache-2.0 · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/confident-ai/deepeval
- Обновлён: 2026-10-23
- HTML: https://affpapa.org/nevibecode/plugins/deepeval

## Что делает

Плагин добавляет в Claude скиллы вокруг DeepEval — открытого фреймворка оценки LLM-систем. Метрики считаются локально на вашей машине: часть через LLM-as-a-judge, часть через NLP-модели и статистику. Провайдера модели выбираете сами.

Внутри — готовые метрики под разные сценарии. Для агентов это Task Completion, Tool Correctness, Step Efficiency, Plan Adherence. Для многоходовых диалогов — Knowledge Retention, Turn Relevancy, Turn Faithfulness. Есть G-Eval и DAG, если нужен свой критерий оценки. Отдельно идёт JevEval, где вместо сгенерированного текста модель отвечает калиброванными вероятностями.

Оценивать можно тремя способами: приложение целиком как чёрный ящик, полную траекторию агента или отдельные шаги вроде вызова LLM, работы с инструментами и передачи управления субагенту. Результаты удобно использовать, чтобы выбрать модель, промпт и архитектуру, поймать дрейф промптов или перейти с OpenAI на Claude. Учтите: метрики с LLM-as-a-judge требуют ключа к выбранной модели, а часть NLP-метрик тянет за собой Python-окружение с зависимостями DeepEval — это повод проверить, чем вы уже считаете качество, прежде чем ставить второй фреймворк рядом.

## Установка

### Claude Code (родная платформа)

**Через маркетплейс плагинов**
В чате агента (не в терминале):
```text
/plugin install deepeval@claude-plugins-official
```
В чате агента (не в терминале):
```text
/plugin marketplace add anthropics/claude-plugins-official
```

## Когда брать
- прогнать метрики по агенту и увидеть, где он срезался
- сравнить две модели или два промпта на одном датасете
- поймать дрейф промпта после правок
- оценить отдельные шаги агента: вызовы инструментов, ретрив, хендоффы
- перевести проект с OpenAI на Claude с проверкой качества

## Примеры запросов агенту
- прогони DeepEval по моему агенту и покажи, какие шаги провалились
- собери датасет из этих диалогов и посчитай Turn Relevancy
- сравни два промпта через G-Eval на моём наборе тестов

## Похожие
- [eval-harness-first](https://affpapa.org/nevibecode/skills/eval-harness-first.md) — скилл · 2600 установок
- [google-agents-cli-eval](https://affpapa.org/nevibecode/skills/google-agents-cli-eval.md) — скилл · 511400 установок
- [caveman-optimize](https://affpapa.org/nevibecode/skills/caveman-optimize.md) — скилл · 105800 установок
- [example-skills](https://affpapa.org/nevibecode/plugins/example-skills.md) — плагин · ★ 183839
- [ponytail](https://affpapa.org/nevibecode/plugins/ponytail.md) — плагин · ★ 176443
- [skill-creator](https://affpapa.org/nevibecode/plugins/skill-creator.md) — плагин · ★ 44635
- [pr-review-toolkit](https://affpapa.org/nevibecode/plugins/pr-review-toolkit.md) — плагин · ★ 44635
- [react19-upgrade](https://affpapa.org/nevibecode/plugins/react19-upgrade.md) — плагин · ★ 40418

Из того же набора: [confident-ai/deepeval](https://affpapa.org/nevibecode/by/confident-ai/deepeval.md) — 2 карточки

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md