WXG-微信读书-语音合成大模型研究

课题背景： 语音合成（TTS）已从传统声学建模全面进入大模型时代，基于离散音频token的LLM-TTS大模型推动高自然度、零样本/少样本音色克隆、多情感控制、多模态语音生成取得快速突破。尽管TTS大模型已广泛落地应用，相比真人朗读/说话仍存在一些差距，为了满足更好的用户体验，产品也相应提出了更高的需求，主要集中在以下几方面：

1. 01

   合成的语音能根据文本语义有相应更好的情感起伏，即表现力丰富，（2）TTS大模型能做到准确的指令遵循控制，（3）在zero-shot声音复刻时，可以实现多情感迁移。 课题挑战：

2. 01

   多任务统一建模，融合指令控制，前文语义理解，纯TTS等多个语音合成任务统一设计和训练模型。

3. 02

   zero-shot音色复刻，通过模型设计和训练优化实现音色和韵律解耦，以达到极少参考语音下，能实现多情绪的声音复刻。

4. 03

   高效生成和质量平衡，加速模型推理和降低首包时延时，如何降低对音质细节保真度和韵律自然度的影响 具体工作： 参与到多任务TTS大模型的模型框架设计和训练，根据不同的任务类型设计实验并进行评估，同时根据实验结果反馈，优化模型以达到可上线要求；和同事一起推动多任务TTS大模型在微信读书，微信公众号，微信消息朗读等多个场景中落地。

1. 01

   学历和专业要求 计算机、人工智能、语音信号处理、自然语言处理等相关专业硕士及以上，具备语音合成、多模态大模型或低资源语言研究背景优先。

2. 02

   技术技能要求 掌握Transformer，熟悉语音codec模型和LLM-TTS模型；熟练使用PyTorch；具备大模型预训练、微调、推理优化或语言建模经验。

3. 03

   软性素质要求 具备优秀的科研创新与问题拆解能力，逻辑严谨、执行力强，拥有良好的沟通协作能力，可独立推进前沿课题研究与实验验证。 此课题同时招聘应届实习生和低年级实习生。