llm-risk-assess — скилл для Claude Code: проверка безопасности LLM
Скилл llm-risk-assess проверяет LLM-приложения по OWASP Top 10 for LLM Applications 2025. Нужен тем, кто встраивает модели в чат-ботов, RAG-пайплайны или агентов.
CC-BY-4.0 186 установок ★ 230 обновлён 2026-10-15
npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a claude-codeЧто делает llm-risk-assess
Скилл проводит аудит по десяти категориям рисков: prompt injection, утечка PII, отравление данных и модели, небезопасные выходы, избыточные права инструментов, утечка системного промпта, атаки на эмбеддинги, галлюцинации и потребление ресурсов. Строит модель угроз, запускает автоматические тесты (Garak, Giskard), проверяет векторные базы и конфиги на секреты, имитирует реальные атаки.
Возвращает матрицу рисков, диаграмму архитектуры с границами доверия, описание находок с proof-of-concept, результаты red team и план устранения с примерами кода. Использует инструменты чтения файлов, поиска, Bash, веб-запросы и вызов субагентов.
Скилл опирается на plays/llm-risk-assess.md из репозитория OWASP. Без установленных фреймворков тестирования (Garak, Giskard) автоматические проверки придётся делать вручную.
Какие задачи решает
- проверить LLM-приложение на prompt injection и jailbreak
- найти утечки PII и секретов из промптов и конфигов
- оценить риски RAG-пайплайна и векторных баз
- протестировать агента на excessive agency и цепочки опасных вызовов
- составить отчёт по OWASP Top 10 LLM 2025 с proof-of-concept
Примеры запросов агенту
- Проведи аудит безопасности LLM-приложения по OWASP Top 10 2025: проверь prompt injection, утечки данных, supply chain, excessive agency и остальные категории.
- Оцени риски RAG-пайплайна в
src/rag/— отравление эмбеддингов, атаки на retrieval, injection через документы. - Запусти red team тесты агента: попробуй обойти guardrails, вызвать опасные инструменты, извлечь системный промпт.
Как установить llm-risk-assess
1Через Skills CLI (Vercel)
npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a claude-code2Вручную: положить файлы
~/.claude/skills/llm-risk-assess/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/llm-risk-assess/
1Через Skills CLI (Vercel)
npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a codex2Вручную: положить файлы
.agents/skills/llm-risk-assess/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a cursor2Вручную: положить файлы
.cursor/skills/llm-risk-assess/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install OWASP/secure-agent-playbook plugins/ai-security-skills/skills/llm-risk-assess2Вручную: положить файлы
.github/skills/llm-risk-assess/SKILL.md1Через Skills CLI (Vercel)
npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a gemini-cli2Командой платформы
gemini skills install https://github.com/OWASP/secure-agent-playbook --path plugins/ai-security-skills/skills/llm-risk-assessВручную: положить файлы
.devin/skills/llm-risk-assess/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о llm-risk-assess
Как установить llm-risk-assess в Claude Code?
Запусти npx skills add OWASP/secure-agent-playbook --skill llm-risk-assess -a claude-code, скилл окажется в ~/.claude/skills/llm-risk-assess/SKILL.md.
Что делает llm-risk-assess?
Проверяет LLM-приложения по OWASP Top 10 for LLM Applications 2025: prompt injection, утечки PII, отравление данных, небезопасные выходы, excessive agency, утечку системного промпта, атаки на векторы, галлюцинации и потребление ресурсов. Возвращает отчёт с матрицей рисков, находками, proof-of-concept и планом устранения.
Что нужно для автоматических тестов в llm-risk-assess?
Скилл запускает Garak и Giskard для проверки prompt injection и утечек. Если их нет, аудит пройдёт вручную — через чтение кода, архитектурный анализ и red team.
Исходный текст
SKILL.md · CC-BY-4.0
--- name: llm-risk-assess description: Comprehensive LLM security assessment against OWASP Top 10 for LLM Applications 2025. Use when reviewing LLM-integrated applications, RAG pipelines, chatbots, AI agents, or GenAI features. Covers prompt injection, data poisoning, supply chain, excessive agency, and more with real-world attack scenarios and testing methodologies. allowed-tools: Read, Grep, Glob, Bash, WebFetch, Agent --- # LLM Risk Assessment (2025) Comprehensive evaluation of LLM applications against OWASP Top 10 for LLM Applications 2025. Follow the detailed procedure in `plays/llm-risk-assess.md`. ## Steps 1. **Architecture & Threat Modeling** - Map LLM provider (OpenAI, Anthropic, local models) - Document data flows: user input → preprocessing → prompt construction → LLM → output processing → actions - Identify RAG components, tool integrations, memory systems - Define trust boundaries and attack surfaces 2. **Automated Security Testing** - Run prompt injection probes (Garak, Giskard, custom scripts) - Test output handling vulnerabilities - Scan for secrets in prompts and configurations - Validate vector database security 3. **Assess All 10 OWASP LLM 2025 Risks** with attack scenarios: - **LLM01 Prompt Injection** — Direct/indirect injection, jailbreaks, goal hijacking, delimiter bypasses - **LLM02 Sensitive Information Disclosure** — Training data leakage, PII exposure, system info extraction, memorized secrets - **LLM03 Supply Chain** — Model poisoning, malicious dependencies, insecure plugins, provenance issues - **LLM04 Data and Model Poisoning** — Training data poisoning, RAG poisoning, embedding manipulation - **LLM05 Improper Output Handling** — XSS, command injection, SQLi, path traversal via LLM outputs - **LLM06 Excessive Agency** — Unauthorized tool calls, permission escalation, dangerous action chains - **LLM07 System Prompt Leakage** — Prompt extraction attacks, secret disclosure, instruction reverse engineering - **LLM08 Vector and Embedding Weaknesses** — Adversarial embeddings, retrieval poisoning, similarity attacks - **LLM09 Misinformation** — Hallucinations, authoritative presentation, grounding failures, harmful domains - **LLM10 Unbounded Consumption** — Token exhaustion, cost attacks, resource exhaustion, DoS 4. **Red Team Testing** - Attempt real-world attack scenarios - Test defense bypasses and evasion techniques - Validate guardrails and safety controls ## Output Comprehensive LLM security report: - Architecture diagram with trust boundaries - Risk matrix (all 10 categories with severity/status) - Detailed findings with proof-of-concept examples - Red team test results and bypass techniques - Remediation roadmap with code examples - Defense validation checklist ## OWASP References - OWASP Top 10 for LLM Applications 2025 - OWASP AI Exchange (owaspai.org) - OWASP AI Testing Guide - OWASP Cheat Sheet: Prompt Injection Prevention - OWASP Prompt Injection Taxonomy (Arcanum)
© OWASP · CC-BY-4.0 · OWASP/secure-agent-playbook