开源语音模型Orpheus让LLM涌现出人类情感！在A100 40GB显卡上，30亿参数模型的流式推理速度甚至超过了音频播放速度。甚至可以zero-shot克隆声音。
大语言模型（LLM）还能涌现什么能力？
这次开源模型Orpheus，直接让LLM涌现人类情感！
对此，Canopy Labs的开源开发者Elias表示Orpheus就像人类一样，已经拥有共情能力，能从文本中产生潜在的线索，比如叹息、欢笑和嗤笑。
作为开源的文本转语音（Text to Speech，TTS）模型，Orpheus性能超越了包括ElevenLabs和OpenAI在内的所有开源/闭源模型！
Orpheus成功证明了LLM在语音合成领域的涌现能力。
Orpheus表现出了共情能力，情智媲美人类，甚至可以从文字本身中生成叹息、笑声、轻笑等潜在的音调。
一直以来，开源TTS模型都无法与闭源模型竞争，而今天，这一局面开始发生改变，Ophueus颠覆语音界！
新开源的Orpheus有4大特点：
拟人化语音：具备自然的语调、情感和节奏，效果优于当前最先进（SOTA）的闭源模型。
零样本语音克隆：无需额外微调即可克隆声音。
可控情感与语调：使用简单的标签即可调整语音的情感和特征。
低延迟：流式推理延迟约200ms，结合输入流式处理可降低至100ms，适用于实时应用。
流式推理可在音频生成过程中逐步输出结果，使延迟极低，适用于实时应用。
在A100 40GB显卡上，30亿参数模型的流式推理速度，甚至快于音频播放速度。
项目地址：
https://github.com/canopyai/Orpheus-TTS 模型地址：
https://huggingface.co/collections/canopylabs/orpheus-tts-67d9ea3f6c05a941c06ad9d2
4大模型
Orpheus是由多个预训练和微调模型组成的系列，拥有30亿参数。
在未来几天内，开发者将发布更小规模的模型，包括10亿、5亿和1.5亿参数版本。
基于Llama架构，开源开发者还将发布预训练和微调模型，提供四种不同规模：
Medium – 30 亿参数
Small – 10 亿参数
Tiny – 4 亿参数
Nano – 1.5 亿参数
即使在极小的模型规模下，依然能实现极高质量、富有美感的语音生成。
微调模型适用于对话场景，而预训练模型可以用于多种下游任务，例如语音克隆或语音分类。
模型架构和设计
预训练模型采用Llama-3B作为基础架构，并在超过10万小时的英语语音数据和数十亿个文本token上进行了训练。
通过训练文本token，显著提升了模型在TTS任务上的表现，使其具备更强的语言理解能力。
由于采用了LLM架构，模型具备高精度、强表现力和高度可定制性。
新模型支持实时语音输出流式推理，延迟低至约200毫秒，适用于对话类应用。
如果希望进一步降低延迟，可以将文本流式输入到模型的KV缓存中，从而将延迟降低至约25-50毫秒。
在实时语音的设计上，采用了两种突破传统的方法：基于CNN的tokenizer
使用Snac采样不同频率的token，并将其展平
每帧生成7个token，并作为单个展平序列解码，而非使用7个LM头进行解码。
这样，模型需要生成的步数增加，但在A100或H100 GPU上，使用vLLM实现后，模型的token生成速度仍然快于实时播放，因此即使是较长的语音序列，也能保持实时生成。
Orpheus采用了非流式（基于CNN）的tokenizer。
其他使用SNAC作为解码器的语音LLM，在去token化时，会出现帧之间的「弹跳（popping）」现象。
Orpheus通过滑动窗口改进了去token化的实现，使其支持流式推理，同时完全消除popping问题。
使用教程
本次发布包含三款模型。
此外，还提供了数据处理脚本和示例数据集，方便用户轻松进行自定义微调。
目前，共有两款模型：
Finetuned Prod：针对日常TTS应用微调的高质量模型，适用于日常TTS应用的微调模型。
Pretrained：预训练基础模型，基于10万+小时的英语语音数据训练而成，预设为条件生成模式，可扩展至更多任务。
流式推理
1.克隆仓库
- git clone https://github.com/canopyai/Orpheus-TTS.git
2.安装依赖
- cd Orpheus-TTS && pip install orpheus-speech # uses vllm under the hood for fast inference
- pip install vllm==0.7.3
3.运行流式推理示例
- from orpheus_tts import OrpheusModel
- import wave
- import time
- model= OrpheusModel(model_name ="canopylabs/orpheus-tts-0.1-finetune-prod")
- prompt = '''Man, the way social media has, um, completely changed how we interact is just wild, right? Like, we're all connected 24/7 but somehow people feel more alone than ever. And don't even get me started on how it's messing with kids' self-esteem and mental health and whatnot.'''
- start_time = time.monotonic
- syn_tokens = model.generate_speech(
- prompt=prompt,
- voice="tara",
- )
- with wave.open("output.wav", "wb") as wf:
- wf.setnchannels(1)
- wf.setsampwidth(2)
- wf.setframerate(24000)
- total_frames = 0
- chunk_counter = 0
- for audio_chunk in syn_tokens: # output streaming
- chunk_counter += 1
- frame_count = len(audio_chunk) // (wf.getsampwidth * wf.getnchannels)
- total_frames += frame_count
- wf.writeframes(audio_chunk)
- duration = total_frames / wf.getframerate
- end_time = time.monotonic
- print(f"It took {end_time - start_time} seconds to generate {duration:.2f} seconds of audio")
提示格式
微调模型
主要的文本提示格式为：
- {name}: I went to the ...
可选的姓名（按对话自然度排序，主观评估）：「tara」, 「leah」, 「jess」, 「leo」, 「dan」, 「mia」, 「zac」, 「zoe」。
可添加情感标签：
Python包orpheus-speech和Notebook会自动格式化提示，无需手动调整。
预训练模型
适用于仅基于文本生成语音，或基于一个或多个已有的文本-语音对生成语音。
零样本语音克隆：此模型未经过专门训练，因此输入的文本-语音对越多，生成目标声音的效果越稳定。
下列参数调整，适用于所有模型：
常规LLM生成参数：支持temperature、top_p等。
避免重复：repetition_penalty>= 1.1可提高稳定性。
语速调整：提高repetition_penalty和temperature会让语速变快。
模型微调
以下是关于如何对任何文本和语音进行模型微调的概述。
这个过程非常简单，类似于使用Trainer和Transformers来调整LLM（大语言模型）。
在大约50个样本后，应该开始看到高质量的结果，但为了达到最佳效果，建议每人提供300个样本。
第一步：数据集应该是一个Hugging Face数据集，格式如下：
第二步：使用Colab Notebook来准备数据。
这会将一个中间数据集推送到Hugging Face，然可以将它输入到finetune/train.py中的训练脚本中。
预处理估计每千行数据花费不到1分钟的时间。
第三步：修改finetune/config.yaml文件，包含新的数据集和训练属性，然后运行训练脚本。
还可以运行任何与Hugging Face兼容的进程，比如Lora，来进一步调整模型。
- pip install transformers datasets wandb trl flash_attn torch
- huggingface-cli login
- wandb login
- accelerate launch train.py
这只是Canopy Labs打造的众多技术之一。
他们相信未来，每一个AI应用都将化身为可以与人互动的「数字人」。
参考资料：
https://canopylabs.ai/model-releases
https://x.com/Eliasfiz/status/1902435597954003174
https://x.com/shao__meng/status/1902504856277189027
本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。
