【Ace顶尖实习生】基于Diffusion LLM的基座大模型研究

【Ace顶尖实习生】基于Diffusion LLM的基座大模型研究 大模型 北京市，上海市，杭州市 Ace 顶尖实习生计划 在搜索等实际线上业务中，推理速度限定了线上可用的模型大小以及可达效果，当前的基于transformer架构的大模型基座在推理速度上存在系统性瓶颈。本课题探索基于创新框架，如diffusion LLM和linear attention model的大模型基座范式，从数据、模型预训练、后训练、AI Infra、评测等方向探索模型效果极限。