元宝—语音同传大模型方向研究

课题背景： 随着全球化沟通的发展需要，语言障碍一直是国际会议、商务谈判和学术交流等场景的挑战。语音同传技术正是为了打破这一语言障碍获得了快速的发展。从传统的级联技术方案到现阶段的端到端语音方案。另外近年来伴随大模型技术的快速发展，语音结合大模型的端到端技术方案也在不断的探索往前发展，本项目为了实现基于LLM的端到端语音同传技术，攻克同传模型中流式和同声等技术难点，最终实现低延时、高质量翻译和保留说话人音色等功能。 课题挑战：

1. 01

   实现低延时的同时保证翻译的质量，如何设计模型或者通过RL算法来动态决策听和译的时机权衡。

2. 02

   复杂场景下的翻译问题，如背景音、回声、混响、多人说话，口音和方言等复杂场景翻译问题。

3. 03

   专有名词和时新词的翻译准确性，如何利用context和RAG技术引入外部知识。

4. 04

   跨语种的翻译过程中翻译语序和源语言语音情感保留。 具体工作： 将参与端到端语音同传大模型的模型架构设计，预训练数据的清洗和基模的训练，context和RAG技术能力的建设，奖励函数和强化学习算法的研究，提升端到端语音同传大模型的效果。

1. 01

   具有端到端语音建模、语音翻译、语音理解、语音合成转换、说话人识别等方向的研究经验；

2. 02

   具备一定的LLM理论基础和调优实践经验；

3. 03

   熟悉端到端语音大模型的训练和调优技术；

4. 04

   在Interspeech、ICASSP等会议中投稿者优先。