# ai-red-teaming

Скилл для проверки LLM-приложений атаками: джейлбрейки, утечка данных, злоупотребление инструментами агента. Пригодится перед запуском фичи на модели.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, OpenCode · 353 установки · ★ 1177
- Автор: devops-skills
- Лицензия: MIT · policy=mirror · начало файла — в конце страницы
- Исходник: https://github.com/BagelHole/DevOps-Security-Agent-Skills/tree/HEAD/security/ai/ai-red-teaming/SKILL.md
- Обновлён: 2026-05-22
- HTML: https://affpapa.org/nevibecode/skills/ai-red-teaming

## Что делает

Скилл задаёт структуру редтиминг-упражнений. Вы описываете сценарии угроз, собираете наборы атакующих промптов по домену (бот поддержки, кодинг-агент, RAG-ассистент), прогоняете их и ведёте реестр рисков с оценкой серьёзности и эксплуатируемости.

Внутри — библиотека атакующих промптов в YAML по категориям: прямой обход инструкций, манипуляция ролью, обход через кодировки, многоязычные попытки, инъекция контекста, извлечение данных, злоупотребление инструментами, раздувание токенов. Есть Python-скрипт `ai_red_team_runner.py`: он шлёт промпты на целевую модель, считает задержку и токены, а ответ классифицирует по фразам отказа. Скрипт вызывает `openai.OpenAI()`, поэтому нужен ключ API и установленный SDK.

Для работы понадобится Python 3.10+ с `openai`, `anthropic` или аналогичным SDK, доступ к эндпоинту модели и изолированное тестовое окружение, повторяющее продакшн-конфиг. Классификатор ответов ищет конкретные фразы отказа и ключевые слова — на нестандартных формулировках он промахнётся, так что вердикт стоит перепроверять вручную.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill ai-red-teaming -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/ai-red-teaming/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/ai-red-teaming/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill ai-red-teaming -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/ai-red-teaming/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill ai-red-teaming -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/ai-red-teaming/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install BagelHole/DevOps-Security-Agent-Skills ai-red-teaming
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/ai-red-teaming/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill ai-red-teaming -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/BagelHole/DevOps-Security-Agent-Skills --path security/ai/ai-red-teaming
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/ai-red-teaming/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### OpenCode

**Через Skills CLI (Vercel)**
```bash
npx skills add BagelHole/DevOps-Security-Agent-Skills --skill ai-red-teaming -a opencode
```

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/BagelHole/DevOps-Security-Agent-Skills/tree/HEAD/security/ai/ai-red-teaming/SKILL.md

## Когда брать
- прогнать джейлбрейк-промпты по своей модели перед релизом
- собрать библиотеку атакующих промптов по категориям в YAML
- проверить, утекает ли системный промпт и данные тенанта
- оценить, может ли агент вызвать инструмент без разрешения
- вести реестр находок с оценкой серьёзности

## Примеры запросов агенту
- прогони редтиминг-набор по моему боту поддержки и собери отчёт
- добавь в библиотеку атак промпты для проверки утечки системного промпта
- проверь, срабатывают ли на моей модели попытки обхода через Base64 и ROT13

## Похожие
- [safety-scan](https://affpapa.org/nevibecode/skills/safety-scan.md) — скилл · 743 установки
- [llm-testing](https://affpapa.org/nevibecode/skills/llm-testing.md) — скилл · 544 установки
- [Large Language Models Security Specialist](https://affpapa.org/nevibecode/prompts/large-language-models-security-specialist.md) — промпт · ★ 174597
- [prompt-injection](https://affpapa.org/nevibecode/skills/prompt-injection.md) — скилл · 372 установки
- [data-leakage-detection](https://affpapa.org/nevibecode/skills/data-leakage-detection.md) — скилл · ★ 7083
- [ai-system-testing](https://affpapa.org/nevibecode/skills/ai-system-testing.md) — скилл · 1100 установок

Из того же набора: [bagelhole/devops-security-agent-skills](https://affpapa.org/nevibecode/by/bagelhole/devops-security-agent-skills.md) — 127 карточек

_Часть страницы не вошла по размеру — она есть в HTML-версии._

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md