# ai-system-testing

Скилл для проверки ИИ-фич в продукте: регрессии промптов, оценка качества ответов, галлюцинации, RAG и инъекции.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 1100 установок · ★ 211
- Автор: kindlmann
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/petrkindlmann/qa-skills/tree/HEAD/skills/ai-system-testing/SKILL.md
- Обновлён: 2026-10-22
- HTML: https://affpapa.org/nevibecode/skills/ai-system-testing

## Что делает

ИИ-фичи ломаются иначе, чем обычный код. Один и тот же ввод даёт разные ответы, а чат-бот, уверенно ссылающийся на выдуманный URL, проходит любую проверку на `toBeDefined()`. Скилл разбирает, как тестировать такие фичи: версионированные промпты, наборы eval против эталонных данных, проверки вызовов инструментов, заземление на источники и red-team сканы безопасности.

Внутри — маршрутизация по ситуациям и ссылки на отдельные файлы: `references/prompt-regression.md` для регрессий промптов, `references/eval-framework.md` для оценки открытых ответов, `references/tooling-evals.md` для сравнения провайдеров, валидации вызовов инструментов и сканов безопасности, `references/injection-detector.md` для случая, когда агент читает вывод инструмента, RAG или отчёты сканера. Есть встроенный детектор недоверенного контента. Отдельная таблица инструментов подсказывает слой под задачу: Promptfoo для регрессий и redteam, DeepEval для pytest-стиля и метрик вызовов инструментов, Ragas для RAG-метрик вроде faithfulness.

Скилл не для генерации тестового кода через ИИ — для этого есть ai-test-generation. Не для разбора падений CI — это ai-bug-triage. Не для соответствия EU AI Act и GDPR — это compliance-testing. И не для канареечного выката фичи — это testing-in-production. Если промпты захардкожены или собираются динамически, регрессионно их не проверить, поэтому сначала стоит привести их к версиям.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add petrkindlmann/qa-skills --skill ai-system-testing -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/ai-system-testing/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/ai-system-testing/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add petrkindlmann/qa-skills --skill ai-system-testing -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/ai-system-testing/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add petrkindlmann/qa-skills --skill ai-system-testing -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/ai-system-testing/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install petrkindlmann/qa-skills ai-system-testing
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/ai-system-testing/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add petrkindlmann/qa-skills --skill ai-system-testing -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/petrkindlmann/qa-skills --path skills/ai-system-testing
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/ai-system-testing/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add petrkindlmann/qa-skills --skill ai-system-testing -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/petrkindlmann/qa-skills/tree/HEAD/skills/ai-system-testing/SKILL.md

## Когда брать
- поймать падение качества после правки промпта
- оценить открытый ответ по релевантности и полноте
- проверить, что агент выбрал нужный инструмент и аргументы
- найти галлюцинации и разрыв с источниками в RAG
- прогнать red-team сканы до релиза чат-бота

## Примеры запросов агенту
- прогони регрессию промптов на нашей фиче суммаризации
- проверь заземление ответов на базу знаний RAG
- сделай red-team скан чат-бота перед запуском

## Похожие
- [deepeval](https://affpapa.org/nevibecode/skills/deepeval.md) — скилл · 2800 установок
- [data-leakage-detection](https://affpapa.org/nevibecode/skills/data-leakage-detection.md) — скилл · ★ 7083
- [generate-synthetic-data](https://affpapa.org/nevibecode/skills/generate-synthetic-data.md) — скилл · 984 установки
- [langchain4j-testing-strategies](https://affpapa.org/nevibecode/skills/langchain4j-testing-strategies.md) — скилл · 3700 установок
- [ai-red-teaming](https://affpapa.org/nevibecode/skills/ai-red-teaming.md) — скилл · 353 установки
- [Large Language Models Security Specialist](https://affpapa.org/nevibecode/prompts/large-language-models-security-specialist.md) — промпт · ★ 174597

Из того же набора: [petrkindlmann/qa-skills](https://affpapa.org/nevibecode/by/petrkindlmann/qa-skills.md) — 49 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md