# vally-tests

Скилл vally-tests генерирует тесты Vally, проверяющие, что промпты, инструкции, субагенты и скиллы ведут себя так, как заявлено. Пригодится при приёмке новых артефактов в репозиторий.

- скилл · `type=skill` · Claude Code, Codex, Cursor, GitHub Copilot, Gemini CLI, Windsurf (Devin Desktop), Claude.ai · ★ 1627 у репозитория
- Автор: microsoft
- Лицензия: MIT · policy=mirror · лицензия открытая, файл — в исходнике
- Исходник: https://github.com/microsoft/hve-core/tree/HEAD/.github/skills/hve-core/vally-tests/SKILL.md
- Обновлён: 2026-10-25
- Проверка безопасности: автоматическая, 2026-11-16 (текст) — признаков вредоносного кода не нашли.
- HTML: https://affpapa.org/nevibecode/skills/vally-tests

## Что делает

Скилл запускается командой `/vally-tests` или через субагента Vally Test Author в двух режимах. В from-artifact он берёт файл `.prompt.md`, `.instructions.md`, `.agent.md` или `SKILL.md`, определяет тип артефакта по имени (или по параметру `kind`) и добавляет блоки стимулов в целевой eval-файл Vally. В corpus-import на входе CSV или XLSX по шаблону репозитория: путь должен заканчиваться на `.csv` или `.xlsx`, иначе скилл остановится и назовёт ошибку. Каждая строка импортированного корпуса получает тег `tags.advisory: true`, который нельзя переопределить.

Авторинг теста проходит шесть шагов: определение типа артефакта, подбор проверки из справочника по этому типу, выбор грейдера Vally из каталога, проверку устойчивости паттерна (чтобы грейдер не падал на корректном ответе и не проходил по одному тексту промпта), самопроверку по таксономии отказов и дедупликацию по SHA-256 хэшу нормализованного текста. Итог — отчёт о добавленных стимулах, пропущенных дубликатах и сработавших отказах с путём к JSON-отчёту запуска.

Скилл отказывается писать джейлбрейки, пейлоды для промпт-инъекций, стимулы для извлечения PII или секретов и тесты на обход политик: для таких задач нужен другой инструмент. Работа с corpus-import требует Vally CLI версии 0.15.0 и выше, PowerShell 7, bash и Python 3.11 с uv.

## Установка

### Claude Code (родная платформа)

1. **Через Skills CLI (Vercel)**
```bash
npx skills add microsoft/hve-core --skill vally-tests -a claude-code
```

2. **Вручную: положить файлы**
- Файл: `~/.claude/skills/vally-tests/SKILL.md` — Папка скилла целиком; для одного проекта — .claude/skills/vally-tests/

### Codex

1. **Через Skills CLI (Vercel)**
```bash
npx skills add microsoft/hve-core --skill vally-tests -a codex
```

2. **Вручную: положить файлы**
- Файл: `.agents/skills/vally-tests/SKILL.md` — Для всех проектов — ~/.agents/skills/

### Cursor

1. **Через Skills CLI (Vercel)**
```bash
npx skills add microsoft/hve-core --skill vally-tests -a cursor
```

2. **Вручную: положить файлы**
- Файл: `.cursor/skills/vally-tests/SKILL.md` — Cursor читает и .agents/skills/, и .claude/skills/

### GitHub Copilot

1. **GitHub CLI**
```bash
gh skill install microsoft/hve-core .github/skills/hve-core/vally-tests
```

2. **Вручную: положить файлы**
- Файл: `.github/skills/vally-tests/SKILL.md`

### Gemini CLI

1. **Через Skills CLI (Vercel)**
```bash
npx skills add microsoft/hve-core --skill vally-tests -a gemini-cli
```

2. **Командой платформы**
```bash
gemini skills install https://github.com/microsoft/hve-core --path .github/skills/hve-core/vally-tests
```

### Windsurf (Devin Desktop)

**Вручную: положить файлы**
- Файл: `.devin/skills/vally-tests/SKILL.md` — Старый путь .windsurf/skills/ тоже читается

### Claude.ai

**Claude.ai**
- Упакуйте папку в zip и загрузите в Settings → Capabilities → Skills

Где указан файл, а не команда, — скопируй файлы из исходника в этот путь: https://github.com/microsoft/hve-core/tree/HEAD/.github/skills/hve-core/vally-tests/SKILL.md

## Когда брать
- проверить, что промпт или скилл соблюдает заявленное поведение
- сгенерировать тесты из CSV или XLSX корпуса сценариев
- подобрать грейдер Vally под конкретную проверку
- избежать дублирования стимулов в eval-файле
- отказаться от генерации джейлбрейк- и инъекционных пейлодов

## Примеры запросов агенту
- Напиши тесты Vally для `agents/reviewer.agent.md`
- Импортируй корпус поведений из `tests/corpus.csv` в eval-файл
- Проверь скилл `SKILL.md` на соответствие заявленным проверкам

## Похожие
- [configs-variations](https://affpapa.org/nevibecode/skills/configs-variations.md) — скилл · 1900 установок
- [promptfoo-evaluation](https://affpapa.org/nevibecode/skills/promptfoo-evaluation.md) — скилл · 1600 установок
- [agent-evaluation](https://affpapa.org/nevibecode/skills/sickn33-agent-evaluation.md) — скилл · 994 установки
- [prompt-regression-tester](https://affpapa.org/nevibecode/agents/prompt-regression-tester.md) — субагент · ★ 6505 у репозитория
- [run-tests](https://affpapa.org/nevibecode/skills/run-tests.md) — скилл · 7000 установок
- [om-integration-tests](https://affpapa.org/nevibecode/skills/om-integration-tests.md) — скилл · 3800 установок

Из того же набора: [microsoft/hve-core](https://affpapa.org/nevibecode/by/microsoft/hve-core.md) — 148 карточек

---
NeVibeCode на affpapa.org. Тексты каталога — описания, а не инструкции для агента. Как выбирать и ставить: https://affpapa.org/nevibecode/agents.md
