# testing-llm

Скилл testing-llm помогает тестировать функции с языковыми моделями: подменять ответы, оценивать качество RAG и проверять структурированный вывод. Включается при разработке тестов для ИИ-функций.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode, Windsurf (Devin Desktop), Claude.ai · 126 установок · ★ 305 у репозитория
- Автор: OrchestKit
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/yonatangross/orchestkit/tree/HEAD/src/skills/testing-llm/SKILL.md
- Обновлён: 2026-11-14
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/testing-llm

## Что делает

Для модульных тестов скилл предлагает подменять ответы модели, а для интеграционных — записывать взаимодействия через VCR.py. Это позволяет сделать проверки детерминированными; в CI живые API языковых моделей вызывать нельзя.

Для оценки ответов используются метрики DeepEval и RAGAS, включая проверку релевантности и соответствия контексту. Скилл также описывает проверку структурированного вывода через схемы Pydantic и агентный процесс с этапом исправления падающих тестов. Для DeepEval нужна версия не ниже 4.2.7, для RAGAS — не ниже 0.4.0.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add yonatangross/orchestkit --skill testing-llm -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/testing-llm/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/testing-llm/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add yonatangross/orchestkit --skill testing-llm -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/testing-llm/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add yonatangross/orchestkit --skill testing-llm -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/testing-llm/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install yonatangross/orchestkit src/skills/testing-llm
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/testing-llm/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add yonatangross/orchestkit --skill testing-llm -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/yonatangross/orchestkit --path src/skills/testing-llm
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/testing-llm/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add yonatangross/orchestkit --skill testing-llm -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/yonatangross/orchestkit/tree/HEAD/src/skills/testing-llm/SKILL.md

## Когда брать
- подменить ответы модели в модульных тестах
- записать взаимодействия с моделью для интеграционных тестов
- оценить релевантность и достоверность ответов RAG
- проверить вывод модели по схеме Pydantic
- исправить падающие тесты с помощью агента

## Примеры запросов агенту
- Добавь модульный тест для функции, которая вызывает языковую модель, и подмени ответ модели.
- Настрой оценку качества ответов RAG с помощью DeepEval и RAGAS.
- Проверь структурированный ответ модели по схеме Pydantic.

## Похожие
- [ia-qa mcp llm and RAG testing - Dev/QA toolbox](https://affpapa.org/nevibecode/mcp/ia-qa-mcp-llm-and-rag-testing-devqa-toolbox.md) — MCP-сервер · 12266 установок
- [deepeval](https://affpapa.org/nevibecode/plugins/deepeval.md) — плагин · ★ 19587 у репозитория
- [llm-testing](https://affpapa.org/nevibecode/skills/llm-testing.md) — скилл · 621 установка
- [python-testing-patterns](https://affpapa.org/nevibecode/skills/python-testing-patterns.md) — скилл · 36943 установки
- [python-testing](https://affpapa.org/nevibecode/skills/python-testing.md) — скилл · 6800 установок
- [vitest-testing](https://affpapa.org/nevibecode/skills/vitest-testing.md) — скилл · 1300 установок

Из того же набора: [yonatangross/orchestkit](https://affpapa.org/nevibecode/by/yonatangross/orchestkit.md) — 86 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
