面向实时交互场景的边缘推理加速平台研究

课题背景： 当前，EdgeOne在MoE 大语言边缘推理系统、通用边缘推理系统方向，在全球分布的边缘节点增加 AI 推理能力，补充开发者生态能力。在传输协议领域的优化，研究超大规模分布式节点和流量的传输优化机制，推动传输协议和系统的发展，迎接业界复杂网络和多态业务的挑战。 这些既是其技术壁垒的核心，也是推动行业发展的关键课题，因此本岗位期待高阶人才加入，共同应对重大技术挑战与创新机遇。 课题挑战： 需要结合边缘算力的特点，设计调度系统、分布式并行推理架构，充分利用机房的通信、硬盘、加速卡等设施，实现行业领先的大语言推理系统；将缓存、传输等优化方案应用至 CDN 领域，形成新的边缘云基础设施；应对大规模长尾模型对显存资源的使用，实现超高速的模型加载和卸载，并实现对模型推理的通用性能优化。 具体工作： 负责设计调度系统、分布式并行推理架构，充分利用机房的通信、硬盘、加速卡等设施，实现行业领先的大语言推理系统，并推动系统在真实场景中落地与迭代优化。

学历和专业要求：计算机、体系结构或人工智能等相关专业硕士、博士； 技能要求：熟悉GPU架构，熟悉SGLang/vLLM/PyTorch 等常用框架/推理引擎，了解 Transformer 等常用模型结构和常用的模型推理性能优化手段。