К основному содержанию
скилл CX Codex

piper-tts-training — скилл для Claude Code

Скилл piper-tts-training для Claude Code готовит датасеты, запускает дообучение и экспортирует голоса Piper в ONNX. Голоса предназначены для синтеза речи на микрокомпьютерах вроде Raspberry Pi.

Apache-2.0 ★ 173 обновлён 2026-10-24

Установить в Claude Code · Через Skills CLI (Vercel) Все способы и платформы ↓
npx skills add sammcj/agentic-coding --skill piper-tts-training -a claude-code
Открыть на GitHub

Что делает piper-tts-training

Скилл описывает весь пайплайн создания синтетических голосов под движок Piper. Он помогает собрать корпус из 1300–1500 фраз, настроить запись аудио с частотой 22050 Гц в моно и подготовить структуру каталогов LJSpeech с файлом metadata.csv. Проверка качества автоматизирована: транскрипция через Whisper сопоставляется с эталонным текстом по фонемам через piper-phonemize.

Внутри заложены инструкции по локализации под британский, австралийский и новозеландский английский через espeak-ng, чтобы избежать американского акцента. Обучение опирается на piper_train, где fine-tuning из чекпоинта LJSpeech запускается с точностью --precision 32 и контролем сходимости в TensorBoard по метрике loss_disc_all.

Для работы строго требуются pytorch-lightning==1.9.3 и torch<2.6.0, иначе чекпоинты не загрузятся из-за несовместимости API. Для дообучения также необходима видеокарта минимум с 8 ГБ видеопамяти.

Какие задачи решает

  • структурировать аудио и разметку под формат LJSpeech для Piper
  • автоматизировать проверку качества аудиозаписей с помощью Whisper
  • дообучить готовую модель Piper через piper_train на 8 ГБ VRAM
  • экспортировать обученный чекпоинт в оптимизированный формат ONNX

Примеры запросов агенту

  • Помоги подготовить датасет LJSpeech для дообучения модели Piper
  • Напиши скрипт валидации аудио через Whisper и piper-phonemize
  • Сформируй команду для экспорта чекпоинта Piper в оптимизированный ONNX

Как установить piper-tts-training

1Через Skills CLI (Vercel)

npx skills add sammcj/agentic-coding --skill piper-tts-training -a claude-code

2Вручную: положить файлы

~/.claude/skills/piper-tts-training/SKILL.md

Папка скилла целиком; для одного проекта — .claude/skills/piper-tts-training/

По шагам, с командами для каждой платформы: Как установить скилл в Claude Code: пять способов

Вопросы о piper-tts-training

Как установить piper-tts-training в Claude Code?

Выполните команду npx skills add sammcj/agentic-coding --skill piper-tts-training -a claude-code. Также файл скилла можно положить напрямую в ~/.claude/skills/piper-tts-training/SKILL.md.

Что делает piper-tts-training?

Скилл направляет агента по шагам создания модели синтеза речи Piper: от записи аудио 22050 Гц до валидации через Whisper и экспорта в ONNX.

Какое оборудование требуется для дообучения голоса?

Потребуется видеокарта минимум с 8 ГБ VRAM архитектуры Pascal или новее, а также 8 ГБ оперативной памяти.

Исходный текст

SKILL.md · Apache-2.0
---
name: piper-tts-training
description: Train custom TTS voices for Piper (ONNX format) using fine-tuning or from-scratch approaches. Use when creating new synthetic voices, fine-tuning existing Piper checkpoints, preparing audio datasets for TTS training, or deploying voice models to devices like Raspberry Pi or Home Assistant. Covers dataset preparation, Whisper-based validation, training configuration, and ONNX export.
# model: inherit
# allowed-tools: Read,Write,Bash,Grep
---

# Piper TTS Voice Training

Train custom text-to-speech voices compatible with Piper's lightweight ONNX runtime.

## Overview

Piper produces fast, offline TTS suitable for embedded devices. Training involves:
1. Corpus preparation (text covering phonetic range)
2. Audio generation or recording
3. Quality validation via Whisper transcription
4. Fine-tuning from existing checkpoint (recommended) or training from scratch
5. ONNX export for deployment

**Fine-tuning vs from-scratch:**
- Fine-tuning: ~1,300 phrases + 1,000 epochs (days on modest GPU)
- From scratch: ~13,000+ phrases + 2,000+ epochs (weeks/months)

## Workflow

### 1. Corpus Preparation

Gather 1,300-1,500+ phrases covering broad phonetic range:
- Use piper-recording-studio corpus as base
- Add domain-specific phrases for your use case
- Include varied sentence structures and lengths

**Critical for non-US English:** Ensure corpus uses correct regional spelling. See [Localisation](#localisation-for-australian-new-zealand-and-uk-english).

### 2. Audio Generation

Generate or record training audio at 22050Hz mono WAV.

**If using voice cloning (e.g., Chatterbox TTS):**
- Generate at source sample rate (often 24kHz)
- Convert to 22050Hz: `sox -v 0.95 input.wav -r 22050 -t wav output.wav`
- The `-v 0.95` prevents clipping during resampling

**Recording requirements:**
- Consistent microphone position and room acoustics
- Minimal background noise
- Natural speaking pace (not reading voice)

### 3. Quality Validation with Whisper

Automate quality checks rather than manual listening:

```python
import whisper
from piper_phonemize import phonemize_text

model = whisper.load_model("base")

def validate_sample(audio_path, expected_text):
    result = model.transcribe(audio_path)
    transcribed = result["text"].strip()

    # Compare phonemically to handle spelling/punctuation differences
    expected_phonemes = phonemize_text(expected_text, "en-gb")
    transcribed_phonemes = phonemize_text(transcribed, "en-gb")

    return expected_phonemes == transcribed_phonemes
```

Retry failed samples up to 3 times. Target 95%+ dataset coverage.

### 4. Dataset Format (LJSpeech)

Structure your dataset:
```
dataset/
├── metadata.csv
└── wavs/
    ├── sample_0001.wav
    ├── sample_0002.wav
    └── ...
```

**metadata.csv format:** `{id}|{text}` (pipe-separated, no headers)
```
sample_0001|The quick brown fox jumps over the lazy dog.
sample_0002|Pack my box with five dozen liquor jugs.
```

### 5. Preprocessing

Convert to PyTorch tensors:
```bash
python3 -m piper_train.preprocess \
    --language en-gb \
    --input-dir dataset/ \
    --output-dir piper_training_dir/ \
    --dataset-format ljspeech
```

Use `en-gb` for Australian/NZ/UK voices (espeak-ng phoneme set).

### 6. Training

**Fine-tuning (recommended):**
```bash
python3 -m piper_train \
    --dataset-dir piper_training_dir/ \
    --accelerator gpu \
    --devices 1 \
    --batch-size 12 \
    --max_epochs 3000 \
    --resume_from_checkpoint ljspeech-2000.ckpt \
    --checkpoint-epochs 100 \
    --quality high \
    --precision 32
```

**Key parameters:**
- `--batch-size`: Reduce if VRAM limited (12 works on 8GB)
- `--resume_from_checkpoint`: Start from LJSpeech high-quality checkpoint
- `--precision 32`: More stable than mixed precision
- `--validation-split 0.0 --num-test-examples 0`: Skip validation for small datasets

Monitor with TensorBoard: watch `loss_disc_all` for convergence.

### 7. ONNX Export

```bash
python3 -m piper_train.export_onnx checkpoint.ckpt output.onnx.unoptimized
onnxsim output.onnx.unoptimized output.onnx
```

Create metadata file `output.onnx.json` from training `config.json`.

## Localisation for Australian, New Zealand and UK English

Piper uses espeak-ng for phonemisation. American pronunciations in training data cause accent drift.

**Corpus preparation:**
- Run `scripts/convert_spelling.py` on corpus text before training
- Use `en-gb` or `en-au` espeak-ng voice for phonemisation
- Review generated phonemes for Americanisms

**Common spelling conversions:**
| American | Australian/UK |
|----------|---------------|
| -ize | -ise |
| -or | -our |
| -er | -re |
| -og | -ogue |
| -ense | -ence |

**Phoneme considerations:**
- /r/ linking and intrusion patterns differ
- Vowel sounds in words like "dance", "bath", "castle"
- Final -ile pronunciation (hostile, missile)

For complete word lists and phonetic details, see [references/localisation.md](references/localisation.md).

**Validation:** Use Whisper with `language="en"` and verify transcriptions match expected regional forms.

## Dependencies

Pin versions to avoid API breakage:
```
pytorch-lightning==1.9.3
torch<2.6.0
piper-phonemize
onnxruntime-gpu
onnxsim
```

Docker containerisation recommended for reproducibility.

## Hardware Requirements

**Minimum (fine-tuning):**
- 8GB VRAM GPU (Pascal or newer)
- 8GB system RAM
- ~5 days for 1,000 epochs on Tesla P4

**From scratch:** Multiply time by ~200x.

## Troubleshooting

| Issue | Solution |
|-------|----------|
| CUDA OOM | Reduce batch-size (try 8 or 4) |
| Checkpoint won't load | Check pytorch-lightning version matches checkpoint |
| Garbled output | Insufficient training epochs or dataset too small |
| Wrong accent | Check espeak-ng language code and corpus spelling |

© sammcj · Apache-2.0 · sammcj/agentic-coding

Похожие скиллы

Все скиллы по теме «ИИ и ML» →
sherpa-onnx-tts openclaw Скилл sherpa-onnx-tts для Claude Code синтезирует речь из текста локально, без облачных сервисов и ключей API. Создаёт аудио для реплик ассистента прямо в терминале. CX Codex +1 5 400установок ha-voice nodnarbnitram Скилл ha-voice настраивает голосовое управление Assist в Home Assistant: пайплайны, распознавание речи, фразы и спутники на ESP32. CX Codex +1 226установок senior-computer-vision Alireza Rezvani Скилл senior-computer-vision для Claude Code помогает строить системы компьютерного зрения: от детекции объектов и сегментации до развёртывания моделей. Подключается к задачам обучения и оптимизации моделей. CX Codex +1 1 152установок deep-learning pluginagentmarketplace Скилл deep-learning для глубокого обучения: подсказывает агенту, как писать обучающие циклы на PyTorch, собирать трансформеры и выгружать модели в ONNX. CX Codex +1 813установок qianwen-audio-tts QianWen-AI Скилл qianwen-audio-tts для Claude Code превращает текст в речь через Qwen TTS. Запускается для озвучки, голосовых вставок и аудионарации. CX Codex +1 6 200установок tts NoizAI Скилл tts для Claude Code преобразует текст в аудио, озвучивает документы и создаёт дорожки по субтитрам. Используется для дубляжа, начитки и работы с голосовыми образцами. CX Codex +1 4 400установок

Из того же набора73

Весь набор →
personal-genomics Скилл personal-genomics разбирает сырые файлы ДНК локально: фармакогеномика, риски болезней, носительство, происхождение и признаки. Генетические данные не покидают машину. CX Codex +1 ★ 173звёзд репо markedit-tools Скилл markedit-tools помогает обновлять macOS-редактор MarkEdit, подключать расширения и менять настройки программы через Claude Code. CX Codex +1 ★ 173звёзд репо raspberry-pi-pico2 Помогает настраивать сборку и отладку Raspberry Pi Pico 2 и Pi Debug Probe. Охватывает RP2350, SDK, OpenOCD и GDB. CX Codex +1 ★ 173звёзд репо prompt-enhancer Скилл prompt-enhancer для Claude Code превращает неточные промпты в запросы, составленные по образцу экспертной коммуникации. Улучшает собственные запросы и переписывает их для другой ИИ-системы. CX Codex +1 ★ 173звёзд репо html-design-examples Скилл html-design-examples для Claude Code создаёт одностраничные HTML-материалы по образцам из галереи. Он создаёт планы, отчёты, прототипы и другие материалы для чтения в браузере. CX Codex +1 ★ 173звёзд репо step-back Субагент step-back для проверки, не перегружён ли текущий подход избыточными абстракциями. Анализирует код или дизайн и выносит вердикт: продолжать, упрощать или переделать с нуля. CX Codex ★ 173звёзд репо reframe-voice Скилл reframe-voice для Claude Code задаёт стиль доказательных колонок с переосмыслением привычных идей. Помогает разбирать сложные темы в лонгридах без рекламного пафоса. CX Codex +1 ★ 173звёзд репо excalidraw-diagrams Скилл excalidraw-diagrams создаёт и обновляет схемы Excalidraw через интерактивный просмотр MCP или локальный Python-скрипт. CX Codex +1 ★ 173звёзд репо

Ещё в каталоге

Спонсоры проекта

Компании, которые помогают держать аналитику открытой