multimodal-whisper — скилл для Claude Code: распознавание речи

Что делает multimodal-whisper

Скилл даёт агенту доступ к модели распознавания речи Whisper от OpenAI. Он расшифровывает аудио и видео, переводит речь на английский и определяет язык записи. Пригодится, когда нужно превратить подкаст, встречу или интервью в текст прямо в проекте.

Внутри шесть размеров модели: от tiny на 39M параметров до large на 1550M. Для скорости и качества советуют turbo, для прототипов хватит base. Есть режим пословных таймстемпов, подсказка initial_prompt для терминов и имен, а также температурный перебор, когда уверенность модели низкая. Вывод бывает в txt, srt, vtt и json.

Заранее понадобится Python 3.8–3.11, пакет openai-whisper и ffmpeg. На GPU обработка идёт заметно быстрее, чем на CPU, поэтому крупные модели стоит запускать с оглядкой на объём видеопамяти. Модель склонна выдумывать текст на длинных записях, так что результат стоит вычитывать.