К основному содержанию
скилл CX Codex

running-livekit-simulations — скилл для Claude Code: как установить

Скилл running-livekit-simulations запускает регрессионные тесты LiveKit-агента через симуляции полных диалогов перед релизом и разбирает результаты.

MIT 479 установок ★ 76 обновлён 2026-10-21

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add livekit/agent-skills --skill running-livekit-simulations -a claude-code
Открыть на GitHub

Что делает running-livekit-simulations

Симуляция прогоняет сценарий через реального агента: LLM играет роль пользователя, судья оценивает транскрипт. Это регрессионный тест целого диалога — проверяет, дошёл ли разговор до нужного результата, сохранились ли детали из начала беседы, устоял ли агент под давлением.

Текстовый режим (lk agent simulate text) — по умолчанию. Он быстрее, дешевле и стабильнее: выключает STT, TTS и VAD, тестирует LLM, инструменты и логику диалога. Аудиорежим (audio) прогоняет те же сценарии через речевой пайплайн в реальном времени — проверяет turn-taking, обработку перебиваний, точность транскрипции и воспринимаемую латентность. У аудиокоманды есть флаги деградации (шум, плохой микрофон, потери пакетов), чтобы проверить, попросит ли агент повторить вместо догадки. Аудиопрогоны стоят дороже — их оставляют для release candidate или правок речевого слоя.

Команда lk agent simulate по умолчанию запускает локального воркера, отправляет ему сценарии и останавливает после прогона. Можно прогнать уже запущенного агента по имени. CLI выводит вердикт по каждому сценарию и ссылку на дашборд; lk agent simulate export печатает прогон с полным контекстом чатов в JSON. Провал триажат: баг в агенте, плохой сценарий (размытые agent_expectations — частая причина) или разрыв между симуляцией и продакшеном. Повторяющиеся провалы переносят в unit-тесты.

Какие задачи решает

  • прогнать регрессионные тесты агента перед деплоем
  • проверить turn-taking и обработку перебиваний в речевом пайплайне
  • автоматизировать прогон сценариев в CI
  • разобрать провалившийся сценарий и вытащить транскрипт
  • протестировать агента с деградированным аудио

Примеры запросов агенту

  • Запусти симуляции из scenarios.yaml в текстовом режиме
  • Прогони агента в аудиорежиме с флагами шума и packet loss
  • Покажи результаты последнего прогона и экспортируй провалы в JSON

Как установить running-livekit-simulations

1Через Skills CLI (Vercel)

npx skills add livekit/agent-skills --skill running-livekit-simulations -a claude-code

2Вручную: положить файлы

~/.claude/skills/running-livekit-simulations/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/running-livekit-simulations/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о running-livekit-simulations

Как установить running-livekit-simulations в Claude Code?

Выполни npx skills add livekit/agent-skills --skill running-livekit-simulations -a claude-code, затем открой ~/.claude/skills/running-livekit-simulations/SKILL.md.

Что делает running-livekit-simulations?

Запускает регрессионные тесты LiveKit-агента через симуляции полных диалогов, где LLM играет роль пользователя, а судья оценивает транскрипт. Проверяет, дошёл ли диалог до нужного результата, устоял ли агент под давлением и как он обрабатывает перебивания.

Когда запускать симуляции в аудиорежиме?

Для release candidate или правок речевого слоя. Аудиорежим прогоняет сценарии через STT, TTS и VAD в реальном времени, проверяет turn-taking, обработку перебиваний и точность транскрипции. Он стоит дороже — текстовый режим оставляют для итераций и CI.

Исходный текст

SKILL.md · MIT
---
name: running-livekit-simulations
description: 'Runs LiveKit agent simulations and acts on the results. Use when the user says "run my simulations", "regression test my agent before deploying", "run the scenarios", "use lk agent simulate", "did my agent pass", "why did this scenario fail", "run simulations in CI", "test the audio pipeline", "check turn-taking and interruptions", or wants to check whole-conversation behavior before shipping. Covers text and audio mode and what each catches, running against a local or deployed agent, degraded-audio flags, automating a pre-release run, and triaging failures with list, view and export. For writing the scenarios use writing-livekit-scenarios. Not the default for a bare "test my agent", which goes to debugging-livekit-agents. Use this skill when the user names simulations, scenarios, a run, CI, or shipping.'
license: MIT
metadata:
  author: livekit
---

# Running LiveKit simulations

A simulation plays a scenario against the real agent using an LLM-driven simulated user, then a
judge grades the transcript. A unit test asserts on one turn. A simulation tells you whether a
*whole conversation* reached the right outcome.

Read `lk agent simulate --help` before running. Subcommands and flags change, a wrong flag wastes a
paid run, and this skill doesn't restate them. `reading-livekit-docs` has the rest.

## When to reach for a simulation

Use simulations to regression-test long-horizon behavior before deploying to production: whether a
multi-turn conversation reaches the right outcome when the caller backtracks, whether details
gathered early survive to the end, whether the agent holds to its instructions under pressure, and
whether it ended in the right *state*. For a single turn, use `testing-livekit-agents`; to poke at
behavior while editing, use `debugging-livekit-agents`.

## Running

Run from the agent's project directory. The mode is a subcommand:

```bash
lk agent simulate text --scenarios scenarios.yaml    # see --help for the current flags
```

With no scenario file, the CLI generates scenarios from the agent's source. That **uploads the
code**, and the CLI asks for confirmation first. Generation belongs to `writing-livekit-scenarios`.

By default the CLI starts the agent as a local worker, dispatches the scenarios to it, and stops it
when the run ends. An option lets you grade an already-running agent by name instead. That needs a
scenario file, since there's no local source to generate from.

Concurrency is limited per run and per project. The docs have the current limits.

## Text or audio

**Text is the default**, and it's the right one. The simulated user exchanges text with the agent,
so the run exercises the LLM, the tools and the conversation logic while the framework turns off
STT, TTS and VAD. It's faster, cheaper and more deterministic. Use it for iteration and for anything
automated.

**Audio runs the same scenarios through the full speech pipeline.** The simulated user speaks,
listens and interrupts like a caller would, and the run scores what only speech exposes:

- **Turn-taking**: starting to speak before the caller has finished, or leaving a caller who has
  finished waiting.
- **Interruption handling**: yielding to a barge-in, and telling a brief acknowledgment apart from a
  new turn.
- **Transcription accuracy** in both directions, scored separately for the things that matter:
  names, numbers, addresses, confirmation codes.
- **Perceived latency**: what the caller heard, which differs from what the agent reports about
  itself. The gap between the two is what the user experiences.

Audio runs execute in real time, call the STT and TTS providers every turn, and are metered at a
higher rate. Save them for a release candidate or a change that touches speech, turn-taking or
interruption. Don't put them in a recurring job.

The audio subcommand has options to degrade the simulated caller's audio (noise, a poor microphone,
packet loss). Use them to test what the agent does with speech it can't hear clearly. It should ask
for a repeat instead of guessing. Combine them for a worst-case caller.

## Automating a pre-release run

All you need is a committed scenario file and a scheduled or release-branch job. The CLI prints
plain output when it isn't attached to a terminal and exits non-zero when any scenario fails, so the
job fails without extra wiring; the docs have a worked CI example to start from. Keep automated runs
in text mode. Every scenario in the committed file has to pass or the job fails, so keep aspirational
scenarios the agent doesn't pass yet in a separate file you run on demand.

## Reading the results

A run prints a verdict per scenario and a dashboard link. The verdict tells you what happened; the
transcript tells you why, so work from the transcript. The dashboard link is for the human. Your
path is `export`: it prints a finished run, with each scenario's full chat context, as JSON — read a
failing transcript from there, diff two runs, or archive a run as a build artifact. `list` finds the
run id and also has machine-readable output; `--help` names the flags.

**To triage a failure, decide which of these it is:**

1. **A bug in the agent.** Fix the agent and re-run. Check instructions and tool descriptions first.
   A failure that looks like bad reasoning is often a tool whose description never says when to
   use it.
2. **A bad scenario.** The expectation requires something the agent shouldn't do, or it's too vague
   for a judge to decide consistently. Fix the scenario. A vague `agent_expectations` is the most
   common reason a verdict flips between runs.
3. **A gap in the simulated world.** The scenario passes but production failed, or the other way
   round. Usually the agent reached different data, the derived instructions leave out the turn
   that caused the problem, or the failure only happens in audio and a text run can't see it.

**After a fix, run the whole file**, not only the scenario you were working on. A fix for one
conversation often changes a neighbouring one.

**Move repeat failures down the stack.** A scenario that fails the same way every time is
describing a turn-level bug. A unit test pins it more cheaply and catches it earlier. See
`testing-livekit-agents`.

## Related skills

- Authoring and organizing scenarios: `writing-livekit-scenarios`
- Interactive debugging of a failure: `debugging-livekit-agents`
- Cheaper per-commit coverage: `testing-livekit-agents`
- Deploying the agent the run is grading: `operating-livekit-agents`
- Flags, versions, changelogs: `reading-livekit-docs`

© livekit · MIT · livekit/agent-skills

Похожие скиллы

Все скиллы по теме «Тесты и QA» →
livekit-skills fcakyon Плагин помогает собирать, тестировать, симулировать и развёртывать голосовых ИИ-агентов на LiveKit. Пригодится при разработке WebRTC-ассистентов реального времени. CX Codex ★ 1 216звёзд репо agent-regression-evals Alireza Rezvani Скилл agent-regression-evals проверяет изменения в промптах, моделях и инструментах агента через статистические тесты. Он помогает отличить реальное ухудшение метрик от случайного шума в CI. CX Codex +1 1установок LabWired w1ne MCP-сервер LabWired для Claude Code, запускающий прошивку в виртуальной среде поверх моделируемого кремния, периферии и шин данных. Выполняет автоматизированную проверку встроенного ПО в CI или через ИИ-агентов. CX Codex +1 ★ 206звёзд репо running-tests ZaxbyHub Скилл running-tests для Claude Code безопасно запускает тесты opencode-swarm: проверяет отдельные файлы и изменения, валидирует набор тестов как в CI и диагностирует ошибки без зависания сессии. CX Codex +1 ★ 539звёзд репо witness ruvnet Скилл witness фиксирует исправления кода через манифест с подписью Ed25519 и ловит регрессии маркеров перед релизом. CX Codex +1 656установок simulations vapi Скилл simulations проектирует, собирает и запускает голосовые или текстовые симуляции для ассистентов Vapi. Помогает проверить поведение агента в диалоге до релиза. CX Codex +1 161установок

Из того же набора7

building-livekit-agents Скилл building-livekit-agents для проектирования голосовых и чат-агентов на LiveKit Agents: разбивка на handoffs, работа с задержкой, разделение смысла и состояния. CX Codex +1 589установок reading-livekit-docs Скилл reading-livekit-docs направляет агента в документацию LiveKit через MCP или CLI вместо генерации API по памяти. Пригодится при написании кода для агентов и проверке флагов. CX Codex +1 561установок debugging-livekit-agents Скилл debugging-livekit-agents гоняет локального агента LiveKit по одному ходу за раз через lk agent debugger, чтобы видеть вызовы инструментов и слышать, что агент разобрал. CX Codex +1 529установок testing-livekit-agents Скилл testing-livekit-agents генерирует пошаговые тесты для агентов LiveKit в pytest или Vitest. Помогает проверить вызовы тулов, передачи диалога и регрессии прямо в коде. CX Codex +1 516установок operating-livekit-agents Скилл operating-livekit-agents помогает развернуть агента в LiveKit Cloud, настроить предзагрузку моделей в воркерах, откат версий и корректное завершение звонков. CX Codex +1 486установок writing-livekit-scenarios Скилл writing-livekit-scenarios помогает создавать и оформлять сценарии симуляций для агентов LiveKit. Пригодится при подготовке стресс-тестов перед релизом и для отлова регрессий в логике. CX Codex +1 479установок

Спонсоры проекта

Компании, которые помогают держать аналитику открытой