VoxCPM：开源多语言语音合成引擎，30 种语言+声音克隆+Apache-2.0 商用许可

VoxCPM 是 OpenBMB 团队开发的开源端到端文本转语音系统，基于免分词的扩散自回归架构，最新版 VoxCPM 2 拥有 2 B 参数，训练数据超 200 万小时，支持 30 种语言和中文方言。

核心功能

• 🌍 30 种语言+中文方言：覆盖中英日韩法德西俄等，四川话、粤语、吴语、东北话等方言
• 🎨 Voice Design 声音设计：用文字描述想要的音色——性别、年龄、语气、情感、语速，无需参考音频
• 🎛️ 可控声音克隆：3 秒参考音频即可克隆，可文本指令控制说话风格
• 🎙️ Ultimate Cloning 极致克隆：提供参考音频+文本，还原声纹节奏情感每个细节
• 🔊 48 kHz 高清输出：内置超分辨率，无需额外升频器
• ⚡ 实时流式推理：RTX 4090 上 RTF 低至 0.3，vLLM-Omni 加速至 0.13
• 📜 Apache-2.0 商用许可：代码和权重完全开源，自由商用

安装与快速使用

pip install voxcpm

要求 Python ≥ 3.10（<3.13）、PyTorch ≥ 2.5.0、CUDA ≥ 12.0、约 8 GB 显存。

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)

# 基础 TTS
wav = model.generate(text="你好，欢迎使用VoxCPM2！", cfg_value=2.0, inference_timesteps=10)
sf.write("demo.wav", wav, model.tts_model.sample_rate)

# Voice Design：用文字描述生成新声音
wav = model.generate(
    text="(一位年轻女性，温柔甜美的声音)欢迎使用VoxCPM2！",
    cfg_value=2.0, inference_timesteps=10
)

# 声音克隆：上传一段参考音频
wav = model.generate(
    text="这是VoxCPM2生成的克隆声音。",
    reference_wav_path="path/to/voice.wav"
)
sf.write("clone.wav", wav, model.tts_model.sample_rate)

CLI 命令行

# 声音设计
voxcpm design --text "你好世界" --output out.wav

# 声音克隆
voxcpm clone --text "这是克隆演示" --reference-audio voice.wav --output out.wav

# 批量处理
voxcpm batch --input examples/input.txt --output-dir outs

性能基准

Seed-TTS-eval 零样本测试中 VoxCPM 2 中文 CER 0.97%、英文 WER 1.84%，与闭源方案 MegaTTS 3、Seed-TTS 持平。30 语言内部测试平均 CER 1.68%。InstructTTSEval 声音设计英文 APS 84.2 排名第一。

延伸阅读

• VoxCPM 2：清华大学开源语音合成模型霸榜 GitHub，3 秒克隆你的声音
• OmniVoice Studio：一键安装的 ElevenLabs 开源替代，646 语言+视频配音+有声书
• Voicebox — 35 k 星开源 AI 语音工作室：本地版 ElevenLabs，克隆+生成+听写一站式

常见问题

Q: 显存不够？ 可降级使用 VoxCPM 1.5（6 GB）或 VoxCPM-0.5 B（5 GB）。

Q: 支持哪些中文方言？ 四川话、粤语、吴语、东北话、河南话、陕西话、山东话、天津话、闽南话。

Q: 可以商用吗？ 可以。Apache-2.0 许可证，代码和权重完全开源，自由商用。

Q: 如何微调？ 支持 SFT 和 LoRA 微调，5-10 分钟音频即可适配特定说话人。

相关链接

• GitHub 仓库
• Hugging Face 模型权重
• 官方使用文档
• 在线体验 Demo
• VoxCPM 2 技术论文 (arXiv)
• Nano-vLLM 加速部署方案
• vLLM-Omni 生产级服务