语音大模型技术研究

针对玩家跨语言体验游戏大作与社交的核心痛点， 本课题旨在研发一款基于端到端语音大模型的“游戏实时同传系统”。 项目摒弃了传统“语音转文字-翻译-合成”的级联架构， 创新性构建“音频到音频（Audio-to-Audio）”的直接映射范式。 课题将重点攻克流式语音的低延迟推理 以及游戏复杂语境与角色情绪音色的高保真重构两大瓶颈，具备准确的打断和拒识能力以及主讲人人声跟踪能力。为高动态场景下的沉浸式AI交互提供前沿范式。

1. 01

   计算机科学、电子工程、人工智能、自动化或相关专业的在读硕士或博士生；

2. 02

   扎实的编程基础，熟练掌握Python；熟悉至少一种主流深度学习框架（PyTorch优先）；

3. 03

   对深度学习有深入理解，熟悉Transformer、DiffusionModel、GAN等至少一种生成模型的基本原理和实现；

4. 04

   积极主动，有良好的沟通能力和团队协作精神，对解决挑战性问题充满热情。