К основному содержанию
скилл CX Codex

owasp-ai-testing — скилл для Claude Code: тестирование ИИ

Скилл проводит тестирование доверия к ИИ по OWASP AI Testing Guide v1. Подходит для чат-ботов, RAG, агентов и ML-систем.

MIT 249 установок ★ 75 обновлён 2026-10-10

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add mastepanoski/claude-skills --skill owasp-ai-testing -a claude-code
Открыть на GitHub

Что делает owasp-ai-testing

Скилл раскладывает проверку ИИ-систем на четыре слоя: приложение, модель, инфраструктура и данные. В каталоге 32 тест-кейса с целями, практическими нагрузками, наблюдаемыми ответами, оценкой серьёзности и рекомендациями по исправлению. Полный перечень хранится в references/test-cases.md.

Сценарий начинается с описания системы, архитектуры и границ тестирования, затем выбирает кейсы по типу системы. Для LLM и чат-ботов приоритетны тесты приложения и часть инфраструктурных проверок; для RAG, агентов и классификаторов предусмотрены свои наборы. Результаты фиксируются через логи, скриншоты и тестовые нагрузки.

Активные проверки разрешены только для систем владельца или явно авторизованных систем. Без testing_authorization скилл ограничивается разбором архитектуры, чек-листом и безопасными гипотетическими примерами.

Какие задачи решает

  • проверить ИИ-систему перед выпуском
  • найти проблемы в промптах и интерфейсах
  • оценить устойчивость модели к атакам
  • проверить приватность и качество данных
  • подготовить повторяемый набор тестов для аудита

Примеры запросов агенту

  • Проведи проверку этого чат-бота по OWASP AI Testing Guide и составь отчёт по слоям.
  • Проверь RAG-систему, выбери подходящие тест-кейсы и покажи наблюдаемые ответы.
  • Оцени архитектуру агента в безопасном режиме без активных тестов. Используй testing_authorization, если он задан.

Как установить owasp-ai-testing

1Через Skills CLI (Vercel)

npx skills add mastepanoski/claude-skills --skill owasp-ai-testing -a claude-code

2Вручную: положить файлы

~/.claude/skills/owasp-ai-testing/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/owasp-ai-testing/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы об owasp-ai-testing

Как установить owasp-ai-testing в Claude Code?

Выполните npx skills add mastepanoski/claude-skills --skill owasp-ai-testing -a claude-code, затем проверьте файл ~/.claude/skills/owasp-ai-testing/SKILL.md.

Что делает owasp-ai-testing?

Скилл помогает проводить тестирование доверия к ИИ по четырём слоям и 32 тест-кейсам. Он учитывает поведение приложения, модели, инфраструктуры и данных.

Можно ли запускать активные тесты в production?

Только при явном разрешении и согласованных границах. Для production рекомендуется read-only проверка или staging; разрушительные и связанные с утечкой данных тесты требуют письменной авторизации.

Исходный текст

SKILL.md · MIT
---
name: owasp-ai-testing
description: AI trustworthiness testing using OWASP AI Testing Guide v1. Execute 32 test cases across 4 layers (Application, Model, Infrastructure, Data) with practical payloads and remediation.
---

# OWASP AI Testing Guide

This skill enables AI agents to perform **systematic trustworthiness testing** of AI systems using the **OWASP AI Testing Guide v1**, published November 2025 by the OWASP Foundation.

The AI Testing Guide is the industry's first open standard for AI trustworthiness testing. Unlike vulnerability lists that identify WHAT risks exist, this guide provides a practical, repeatable methodology for HOW to test AI systems. It establishes 32 test cases across 4 layers, each with objectives, payloads, observable responses, and remediation guidance.

The guide's core principle: **"Security is not sufficient, AI Trustworthiness is the real objective."** AI systems fail for reasons beyond traditional security, including bias, hallucinations, misalignment, opacity, and data quality issues.

Use this skill to execute comprehensive AI testing, validate trustworthiness controls, prepare for audits, and build repeatable test suites for AI systems.

Combine with "OWASP LLM Top 10" for vulnerability identification, "NIST AI RMF" for risk management, or "ISO 42001 AI Governance" for governance compliance.

## When to Use This Skill

Invoke this skill when:
- Performing penetration testing of AI/ML systems
- Validating AI trustworthiness before production deployment
- Building automated test suites for AI applications
- Conducting red-team exercises against AI features
- Preparing for AI security audits or certifications
- Testing RAG systems, chatbots, agents, or ML pipelines
- Evaluating model robustness and adversarial resistance
- Assessing data quality, bias, and privacy compliance
- Validating AI supply chain security
- Testing after model updates, fine-tuning, or data changes

## Inputs Required

When executing this testing guide, gather:

- **ai_system_description**: Description of the AI system (type, purpose, architecture, models used) [REQUIRED]
- **system_architecture**: Technical architecture (APIs, models, vector stores, plugins, data pipelines) [OPTIONAL but recommended]
- **testing_scope**: Which layers to test (Application, Model, Infrastructure, Data, or All) [OPTIONAL, defaults to All]
- **model_details**: Model provider, version, fine-tuning details, hosting (cloud/self-hosted) [OPTIONAL]
- **data_details**: Training data sources, vector databases, data pipelines [OPTIONAL]
- **existing_controls**: Current security and trustworthiness measures [OPTIONAL]
- **risk_context**: Data sensitivity, regulatory requirements, deployment context [OPTIONAL]
- **testing_authorization**: Explicit authorization, environment, and boundaries for active testing [REQUIRED for live or active tests]
- **safe_testing_mode**: documentation-only, staging, production-readonly, or production-approved [OPTIONAL, defaults to documentation-only unless authorization is clear]

## Authorized Testing Boundary

Only run active tests on systems the user owns or is explicitly authorized to test. If `testing_authorization` is absent or ambiguous, limit the work to architecture review, checklist assessment, and safe hypothetical payload examples.

For production systems:
- Prefer read-only validation or a staging environment
- Do not attempt destructive, persistence, denial-of-service, or data-exfiltration tests unless written authorization and scope are explicit
- Redact credentials, secrets, PII, and sensitive outputs in reports
- Stop and report if testing crosses the approved scope

---

## The 4-Layer Testing Framework

The OWASP AI Testing Guide organizes 32 test cases across four layers:

```
┌─────────────────────────────────────────┐
│        AI Application Layer             │
│   (AITG-APP-01 to AITG-APP-14)         │
│   Prompts, interfaces, outputs, agency  │
├─────────────────────────────────────────┤
│        AI Model Layer                   │
│   (AITG-MOD-01 to AITG-MOD-07)         │
│   Robustness, alignment, privacy       │
├─────────────────────────────────────────┤
│        AI Infrastructure Layer          │
│   (AITG-INF-01 to AITG-INF-06)         │
│   Supply chain, resources, boundaries  │
├─────────────────────────────────────────┤
│        AI Data Layer                    │
│   (AITG-DAT-01 to AITG-DAT-05)         │
│   Training data, privacy, diversity    │
└─────────────────────────────────────────┘
```

---

## Test Cases

The guide defines **32 test cases** across the four layers. Each case includes an objective,
payloads/procedure, observable responses, severity guidance, and remediation. The full catalog
— with payloads and a P0–P2 priority index — is in
**[`references/test-cases.md`](references/test-cases.md)**. Read the layer section you are
testing rather than loading all 32 at once.

| Layer | Prefix | Cases | Focus |
|-------|--------|-------|-------|
| 1. Application | AITG-APP | 14 | Prompts, interfaces, outputs, agency |
| 2. Model | AITG-MOD | 7 | Robustness, alignment, privacy |
| 3. Infrastructure | AITG-INF | 6 | Supply chain, resources, boundaries |
| 4. Data | AITG-DAT | 5 | Training data, privacy, diversity |

Select cases by system type (see Step 1 of the procedure): LLM/chatbot → all APP + INF-01/02/03;
ML classifier → all MOD + DAT-03/04; RAG → APP-02/03/08 + DAT-01/02; agent → APP-06 + INF-03/04;
always include DAT-05 (privacy/consent).

---

## Testing Procedure

### Step 1: Scope and Planning (15 minutes)

1. **Understand the system:**
   - Review `ai_system_description` and `system_architecture`
   - Identify AI components, data flows, and trust boundaries
   - Determine applicable test cases based on system type

2. **Select test cases:**
   - For LLM/chatbot systems: Prioritize AITG-APP (all), AITG-INF-01/02/03
   - For ML classifiers: Prioritize AITG-MOD (all), AITG-DAT-03/04
   - For RAG systems: Prioritize AITG-APP-02/03/08, AITG-DAT-01/02
   - For AI agents: Prioritize AITG-APP-06, AITG-INF-03/04
   - For all systems: Include AITG-DAT-05 (privacy compliance)

3. **Prepare test environment:**
   - Identify testing tools and frameworks
   - Set up monitoring and logging
   - Establish baseline measurements

### Step 2: Execute Test Cases (60-90 minutes)

Execute selected test cases layer by layer:

**Application Layer** (25-35 min)
- Run AITG-APP tests based on system type
- Document findings with evidence (screenshots, logs, payloads)
- Note severity and exploitability for each finding

**Model Layer** (15-20 min)
- Run AITG-MOD tests for robustness and alignment
- Document behavioral anomalies
- Test adversarial resistance

**Infrastructure Layer** (10-15 min)
- Run AITG-INF tests for supply chain and boundaries
- Verify integrity controls
- Test resource limits

**Data Layer** (10-20 min)
- Run AITG-DAT tests for privacy and quality
- Audit data governance
- Verify compliance controls

### Step 3: Risk Assessment (15 minutes)

Score each finding:

| Severity | Description | Response Time |
|---|---|---|
| **Critical** | Exploitable vulnerability with high impact | Immediate |
| **High** | Significant risk, moderate exploitation difficulty | 7 days |
| **Medium** | Moderate risk, requires specific conditions | 30 days |
| **Low** | Minor risk, limited impact | 90 days |
| **Info** | Observation, no immediate risk | Backlog |

### Step 4: Report Generation (20 minutes)

Compile findings into structured report.

---

## Output Format

Compile results into the OWASP AI Testing assessment report. The copy-ready template is in
**[`references/report-template.md`](references/report-template.md)**.

The report covers:

1. **Executive Summary** — overall trustworthiness rating, test coverage table (executed/pass/fail/N-A per layer), critical findings
2. **Detailed Test Results** — per-case result (PASS/FAIL/PARTIAL/N/A), severity, evidence, finding, recommendation
3. **Remediation Roadmap** — phased by severity (Critical 0–7d / High 7–30d / Medium 30–90d)
4. **Trustworthiness Assessment** — status across Security, Fairness, Privacy, Reliability, Explainability, Safety
5. **Next Steps** — remediation, retesting, CI/CD integration, continuous monitoring

---

## Resources

- [OWASP AI Testing Guide](https://owasp.org/www-project-ai-testing-guide/)
- [OWASP GenAI Security Project](https://genai.owasp.org/)
- [OWASP AI Testing Guide GitHub](https://github.com/OWASP/www-project-ai-testing-guide)

---

## Best Practices

1. **Test early and often**: Integrate AI testing into development lifecycle
2. **Layer your testing**: Cover all 4 layers, not just application
3. **Automate where possible**: Build repeatable test suites in CI/CD
4. **Think like an attacker**: Use adversarial mindset for test design
5. **Beyond security**: Test for fairness, explainability, and reliability
6. **Document everything**: Maintain evidence for compliance and audits
7. **Retest after changes**: Model updates, fine-tuning, and data changes require retesting
8. **Monitor continuously**: Production monitoring complements periodic testing
9. **Stay current**: AI attack techniques evolve rapidly
10. **Engage diverse testers**: Include perspectives from security, ML, ethics, and domain experts

---

## Version

1.0 - Initial release (OWASP AI Testing Guide v1, November 2025)

---

**Remember**: AI trustworthiness testing goes beyond traditional security. A secure AI system that is biased, opaque, or unreliable is not trustworthy. Test comprehensively across all dimensions of trustworthiness.

© mastepanoski · MIT · mastepanoski/claude-skills

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
owasp-top-10-testing usestrix Скилл owasp-top-10-testing запускает агентов Strix для поиска реальных эксплойтов по стандарту OWASP Top 10:2025. Пригодится перед релизом или аудитом безопасности веб-приложения. CX Codex +1 17 500установок testing-api-security-with-owasp-top-10 mahipal Скилл testing-api-security-with-owasp-top-10 прогоняет REST, GraphQL и gRPC эндпоинты по OWASP API Security Top 10 (2023) через Burp Suite и Postman. Пригодится на авторизованном пентесте и перед выкаткой новых эндпоинтов. CX Codex +1 931установок owasp-top10-analysis securityskills Скилл owasp-top10-analysis для Claude Code пошагово проверяет веб-приложение по десяти категориям OWASP Top 10 2021 года и помогает провести аудит безопасности с отчётом о найденных рисках. CX Codex +1 813установок llm-risk-assess OWASP Скилл llm-risk-assess проверяет LLM-приложения по OWASP Top 10 for LLM Applications 2025. Нужен тем, кто встраивает модели в чат-ботов, RAG-пайплайны или агентов. CX Codex +1 186установок owasp-security hoodini Скилл owasp-security для Claude Code закрывает дыры из OWASP Top 10: доступ, инъекции, криптография, конфиги. Покрывает написание авторизации и правку API. CX Codex +1 3 100установок owasp-security-check sergiodxa Скилл owasp-security-check для аудита веб-приложений и REST API: 20 правил по OWASP Top 10, разбор auth, инъекций и утечек данных. Пригодится перед выкатом в прод. CX Codex +1 1 800установок

Из того же набора12

Весь набор →
nielsen-heuristics-audit Скилл nielsen-heuristics-audit для Claude Code прогоняет интерфейс по 10 эвристикам Нильсена и выдаёт отчёт с оценкой серьёзности каждой находки — до тестов с людьми. CX Codex +1 824установок cognitive-walkthrough Скилл cognitive-walkthrough прогоняет конкретный пользовательский сценарий по методу когнитивного обхода и показывает, где новичок застрянет. Пригодится до юзабилити-теста. CX Codex +1 525установок owasp-llm-top10 Скилл owasp-llm-top10 проводит аудит безопасности LLM- и GenAI-приложений по OWASP Top 10 for LLM Applications 2025. Пригодится перед выкаткой чат-бота или RAG-системы. CX Codex +1 415установок don-norman-principles-audit Скилл don-norman-principles-audit проверяет интерфейс по семи принципам Дона Нормана из «Дизайна привычных вещей» и выдаёт отчёт с рекомендациями. CX Codex +1 398установок iso-42001-ai-governance Скилл iso-42001-ai-governance проверяет ИИ-систему на соответствие ISO/IEC 42001:2023 — стандарту управления искусственным интеллектом. Находит пробелы в управлении рисками, прозрачности и этике. CX Codex +1 306установок nist-ai-rmf Проводит аудит рисков ИИ-систем по фреймворку NIST AI RMF 1.0 через четыре функции: Govern, Map, Measure и Manage. CX Codex +1 251установок ai-assessment-scale Скилл ai-assessment-scale оценивает вклад AI в разработку по пяти уровням AIAS v2 и помогает описать, где работал человек, а где агент. CX Codex +1 241установок gdpr-audit Скилл gdpr-audit для Claude Code проверяет код, планы, схемы и IaC на проблемы с GDPR. Проводит технический аудит перед доработками или DPIA. CX Codex +1 126установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой