边缘分布式推理

课题背景： 当前，EdgeOne在MoE 大语言边缘推理系统、通用边缘推理系统方向，在全球分布的边缘节点增加 AI 推理能力，补充开发者生态能力。在传输协议领域的优化，研究超大规模分布式节点和流量的传输优化机制，推动传输协议和系统的发展，迎接业界复杂网络和多态业务的挑战。 这些既是其技术壁垒的核心，也是推动行业发展的关键课题，亟需高阶人才加入以应对重大技术挑战与创新机遇。 课题挑战： 需要结合边缘算力的特点，设计调度系统、分布式并行推理架构，充分利用机房的通信、硬盘、加速卡等设施，实现行业领先的大语言推理系统；将缓存、传输等优化方案应用至 CDN 领域，形成新的边缘云基础设施；应对大规模长尾模型对显存资源的使用，实现超高速的模型加载和卸载，并实现对模型推理的通用性能优化。 具体工作： 设计调度系统、分布式并行推理架构，充分利用机房的通信、硬盘、加速卡等设施，实现行业领先的大语言推理系统。

学历和专业要求： 计算机、体系结构或人工智能等相关专业博士。 技能要求： 熟悉GPU架构，熟悉SGLang/vLLM/PyTorch等常用框架/推理引擎，了解Transformer等常用模型结构和常用的模型推理性能优化手段。