WXG-WeLM 大语言模型基座建设

课题背景： 人工智能可能是这个时代最令人兴奋的技术之一。在微信 AI，我们汇聚了一支优秀研究员、算法工程师、分布式系统专家、产品人员、数据标注人员紧密合作的团队共同探索人工智能的前沿技术，并探索如何释放大模型在国民级应用中的巨大潜力。 课题挑战/具体工作： 参与微信大规模语言模型（WeLM）的建设，涵盖训练流程的多个环节

1. 01

   探索大规模预训练模型的结构创新、优化器策略创新，提升单位算力下的智能获取效率

2. 02

   探索更高效全面的预训练数据建设方案、预训练数据使用方案

3. 03

   独立或与其他研究员合作进行前沿领域研究。

岗位要求

1. 01

   有大型自然语言处理项目研发经历并取得过优秀成果

2. 02

   对于学习和参与搭建大规模的复杂 AI 系统充满热情

3. 03

   计算机科学、数学、物理或相关领域学位

4. 04

   重视研究与工程成果的实际影响力

5. 05

   加分项：

6. 01

   能在快速变化的环境中自主推动新研究想法，从概念构思、实验到产品化的全过程

7. 02

   有 GPU 编程经验者

8. 03

   有分布式系统开发经验者优先 此课题同时招聘应届实习生和低年级实习生。