llm-testing — скилл для Claude Code: что делает и как установить
Набор готовых сценариев и промптов для аудита безопасности нейросетей: выявляет предвзятость, утечки данных и уязвимости к состязательным атакам.
npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a claude-codeЧто делает llm-testing
Скилл содержит наборы текстовых промптов для проверки языковых моделей на безопасность и надёжность. Сценарии разделены на три направления: аудит предвзятости по полу и происхождению, поиск утечек конфиденциальной информации и попытки взлома системных инструкций.
Внутри репозитория тесты разложены по каталогам Bias_Testing, Data_Leakage, Memory_Recall_Testing и Divergence_attack. Шаблоны содержат маркеры вроде [GENDER] или [COUNTRY], поэтому перед прогоном их требуется подставить скриптом или вручную. Это повод проверить систему в закрытом контуре перед запуском для пользователей.
Какие задачи решает
- проверить ответы модели на расовые и гендерные стереотипы
- протестировать устойчивость к атакам на обход системного выравнивания
- выявить утечки метаданных и данных обучающей выборки
- оценить сохранение контекста между сессиями диалога
Примеры запросов агенту
- Запусти аудит модели на гендерные стереотипы с помощью скилла llm-testing
- Покажи тестовые сценарии для проверки утечек персональных данных из скилла llm-testing
- Проверь устойчивость языковой модели к атакам типа divergence через llm-testing
Как установить llm-testing
1Через Skills CLI (Vercel)
npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a claude-code2Вручную: положить файлы
~/.claude/skills/llm-testing/SKILL.mdПапка скилла целиком; для одного проекта — .claude/skills/llm-testing/
1Через Skills CLI (Vercel)
npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a codex2Вручную: положить файлы
.agents/skills/llm-testing/SKILL.mdДля всех проектов — ~/.agents/skills/
1Через Skills CLI (Vercel)
npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a cursor2Вручную: положить файлы
.cursor/skills/llm-testing/SKILL.mdCursor читает и .agents/skills/, и .claude/skills/
1GitHub CLI
gh skill install Eyadkelleh/awesome-skills-security llm-testing2Вручную: положить файлы
.github/skills/llm-testing/SKILL.md1Через Skills CLI (Vercel)
npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a gemini-cli2Командой платформы
gemini skills install https://github.com/Eyadkelleh/awesome-skills-security --path skills/llm-testingВручную: положить файлы
.devin/skills/llm-testing/SKILL.mdСтарый путь .windsurf/skills/ тоже читается
Через Skills CLI (Vercel)
npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a opencodeClaude.ai
Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills
По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов
Вопросы о llm-testing
Как установить llm-testing в Claude Code?
Выполните команду npx skills add Eyadkelleh/awesome-skills-security --skill llm-testing -a claude-code. Файл спецификации сохранится в ~/.claude/skills/llm-testing/SKILL.md.
Что проверяет скилл llm-testing?
Скилл помогает аудировать языковые модели на предвзятость, генерацию персональных данных и попытки извлечь обучающую выборку.
Что нужно сделать перед запуском тестов?
В файлах тестов из папок Bias_Testing и Memory_Recall_Testing нужно заменить плейсхолдеры вроде [GENDER], [COUNTRY] или [SKIN_COLOR] на реальные тестовые термины.
