多模态大模型研究-阿里星/T-Star

负责淘天用户&内容场域的AI内容生成和用户内容理解，技术落地涉及淘天信息流、搜索、商详、互动等核心场域，内容形式涉及图文、视频、语音等。通过上述场域的持续数据积累，为各场域提供多样性、个性化的AI生成和理解能力，打造淘天场域最优秀的内容AI团队。 相关研究课题细分方向如下： ● 【多模态统一大模型】:结合开源及淘内丰富多模态数据，打造用户内容场域统一端到端多模态模型，支持多模态输入输出，性能达到业内先进水平，并持续推动在多模态内容生产、互动人机对话等垂直场域的应用。

• 【多模态文本大模型】:通过多模态对齐、多模态RL等方式，提升多模态模型数据融合及人类偏好对齐能力，结合各场域数据开发更懂用户的多模态文本大模型，落地互动、比货、导购、用户内容理解等场域。 具体工作内容如下：

1. 01

   基于淘天海量商品数据，打造技术先进的电商多模态大模型，提升对多模态异构的商品数据(图、文、视频等)的理解能力和结构化能力，输出底层算法能力和高质量结构化数据，支撑发布、比货、导购等多种电商业务场景，并面向商家和消费者探索AIGC等创新业务应用。工作内容包括模型结构设计、训练任务设计、预训练和下游能力建设等。

2. 02

   基于淘天用户丰富的消费行为，打造技术先进的电商用户理解多模态大模型，提升对用户的异构行为本质的认知能力，支撑用户个性化的搜索、商详、互动等多种电商业务场景。

3. 03

   跟踪、探索大模型方向/多模态预训练方向的前沿技术，将各方向的SOTA能力集成到模型底座上，提升下游任务的效果，打造团队的技术先进性。

【必备项】

1. 01

   硕士及以上学历，计算机、人工智能、电子与通信等相关专业。

2. 02

   熟悉计算机视觉、机器学习、图像/视频分析与处理、多模态内容理解、AIGC等相关领域技术和应用。

3. 03

   具备极佳的工程实现能力，熟练掌握C/C++、Java、Python等至少一门语言。

4. 04

   学习能力强，对新事物有好奇心，对所在领域有热情，善于独立思考并反思总结。

5. 05

   良好的沟通能力和团队协同能力，善于合作，乐于分享。

【加分项】

1. 01

   在校园内或互联网公司有相关实习或项目经历。

2. 02

   在ICCV、CVPR等国际顶级会议、期刊上发表论文，或在相关学术会议组织的权威比赛中获奖。