目录

Spark-TTS基于大模型的文本语音合成工具

Spark-TTS:基于大模型的文本语音合成工具

https://i-blog.csdnimg.cn/direct/80b7229016ac4859a45571ed60709cdf.png

GitHub:

Spark-TTS是一个先进的文本到语音系统,它利用大型语言模型(LLM)的强大功能进行高度准确和自然的语音合成;旨在高效、灵活、强大地用于研究和生产用途。

一、介绍

Spark TTS完全基于Qwen2.5构建,无需额外的生成模型,它不依赖于单独的模型来生成声学特征,而是直接从LLM预测的代码中重建音频。这种方法简化了流程,提高了效率并降低了复杂性;支持零样本语音克隆,它可以直接复制说话者的语音。这是跨语言和代码转换场景的理想选择,允许语言和语音之间的无缝转换,而不需要对每种语言进行单独的培训;支持中文和英文两种语言,使模型能够以高自然度和准确性合成多种语言的语音;支持通过调整性别、音高和语速等参数来创建虚拟说话者。

二、安装

2.1 克隆项目

git clone https://github.com/SparkAudio/Spark-TTS.git
cd Spark-TTS

2.2 构建环境依赖

conda create -n sparktts -y python=3.12 
conda activate sparktts
pip install -r requirements.txt
# If you are in mainland China, you can set the mirror as follows:
# pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host=mirrors.aliyun.com

PS:官方推荐python3.12,但是我这边使用3.12环境一直安装失败,所以我选择3.11.11,和我一样问题的同学可以尝试一下降低python版本 ;

2.3 下载预训练模型

mkdir pretrained_models && cd pretrained_models

# 安装大文件拉取工具
git lfs install

# 从Modelscpoe上下载模型
git clone https://www.modelscope.cn/SparkAudio/Spark-TTS-0.5B.git

三、运行

3.1 终端运行

python -m cli.inference \
    --text "text to synthesis." \
    --device 0 \
    --save_dir "path/to/save/audio" \
    --model_dir pretrained_models/Spark-TTS-0.5B \
    --prompt_text "transcript of the prompt audio" \
    --prompt_speech_path "path/to/prompt_audio"

上面是在终端的运行代码,项目中给出了一个运行事例,我们结合这个运行事例来具体看一下每个参数代表的含义,下面就是example/infer.sh的文件内容:

#!/bin/bash

# Copyright (c) 2025 SparkAudio
#               2025 Xinsheng Wang (w.xinshawn@gmail.com)
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#   http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.


# Get the absolute path of the script's directory
script_dir=$(dirname "$(realpath "$0")")

# Get the root directory
root_dir=$(dirname "$script_dir")

# Set default parameters
device=0
save_dir='example/results'
model_dir="pretrained_models/Spark-TTS-0.5B"
text="身临其境,换新体验。塑造开源语音合成新范式,让智能语音更自然。"
prompt_text="吃燕窝就选燕之屋,本节目由26年专注高品质燕窝的燕之屋冠名播出。豆奶牛奶换着喝,营养更均衡,本节目由豆本豆豆奶特约播出。"
prompt_speech_path="example/prompt_audio.wav"

# Change directory to the root directory
cd "$root_dir" || exit

source sparktts/utils/parse_options.sh

# Run inference
python -m cli.inference \
    --text "${text}" \
    --device "${device}" \
    --save_dir "${save_dir}" \
    --model_dir "${model_dir}" \
    --prompt_text "${prompt_text}" \
    --prompt_speech_path "${prompt_speech_path}"
    
    
传参含义
text需要克隆语音所对应的文本
device指定显卡编号
save_dir克隆语音的保存路径
model_dir大模型的保存路径
prompt_text样本语音的文本信息
prompt_speech_path样本语音的保存路径

3.2 WebUI

3.2.1 启动

看到如下界面表示启动成功,在本地通过浏览器访问红框的网址;

# 在终端运行:
python webui.py --device 0

3.2.2 克隆

看到如下界面,黄框是语音克隆功能区:

https://i-blog.csdnimg.cn/direct/6270fa4b8d9145468c6491061b856eb5.png

序号一:上传本地待克隆的语音样本(好像不支持m4a格式,最好上传wav格式);

序号二:可以在线录制需要克隆的人的声音(1、2选择一个就可以);

序号三:添加需要克隆语音的文本,即命令行运行中的‘text’参数;

序号四:上传或者录音的语音所对应的文本信息;

序号五:生成克隆语音的展示区;

序号六:上述1-4信息填写完成后点击开始克隆;

3.2.3 语音创作

看到如下界面,黄框是语音创作功能区:

https://i-blog.csdnimg.cn/direct/31421c82de6a42d78e140c92324e3ec5.png

序号一:可以选择生成语音的性别;

序号二:调整生成语音的音调;

序号三:调整生成语音的语速;

序号四:输入生成语音的文本信息;

序号五:点击开始创作,生成结果会展示在下方;

四、总结

整体体验感觉推理速度还是比较快的,但是在功能性上还是在效果上都有所欠缺;语音处理功能相较于之前测试的 显得就比较单一;在克隆的效果上相较于之前测试的 也略有逊色;大家可以尝试一下,进行一下比较~