多模态模型量化/稀疏工程师（2027届潜星计划）

职位概述

我们正在寻找一位多模态模型量化/稀疏工程师，负责视频生成、流式实时视频生成及多模态交互大模型的压缩与优化。你将围绕模型质量、推理延迟、显存与成本，推动量化和稀疏方案从算法验证走向规模化部署。

核心职责

1. 量化与稀疏算法

- 设计并落地后训练量化（PTQ）、量化感知训练（QAT）、混合精度及结构化/非结构化稀疏方案，推动 FP8、INT8、INT4 等低精度方案上线。

- 针对 DiT/Transformer、Diffusion/Flow Matching、VAE 及多模态模块，开展敏感度分析，优化校准、异常值处理和精度恢复策略。

- 结合目标 GPU/加速器特性，确保模型体积和计算量下降能够转化为端到端性能与成本收益。

2. 视频与实时场景优化

- 解决视频模型压缩后的画质、主体一致性、运动连贯性和跨帧闪烁等问题。

- 面向流式实时生成与多模态交互，持续优化首帧延迟、稳定帧率、吞吐、显存和运行稳定性。

3. 评测与工程落地

- 建立质量—性能评测体系，结合 VBench、FVD、语义/感知指标与人工评测，验证压缩方案的质量损失和实际收益。

- 建设覆盖典型场景、分辨率和视频时长的校准集与回归集，形成可复现的消融实验和版本质量门禁。

- 将方案集成到训练、导出、编译和部署链路，与模型、推理和算子团队协作完成产品化落地。

4. 技术探索

- 跟进多模态模型量化、稀疏、蒸馏及低精度推理前沿，评估其在真实业务与目标硬件上的价值。

任职要求

1. 必备条件

- 本科及以上学历。

- 熟悉 PTQ、QAT 及常见低比特量化方案，具备精度恢复和数值问题定位经验。

- 熟悉剪枝、结构化/非结构化稀疏或稀疏感知训练中的至少一种方案，理解理论压缩率与硬件实测加速的差异。

- 理解 Transformer/DiT、Diffusion/Flow Matching、VAE 或多模态大模型中的至少一类主流架构，能够分析长时序和迭代生成带来的量化难点。

- 熟练使用 Python、PyTorch，熟悉 TensorRT、ONNX Runtime、TorchInductor、vLLM 或 SGLang 等至少一种技术栈。

- 了解视频质量评估方法，能够结合自动指标与人工评测判断画质、运动、时序一致性和语义对齐。

- 具备良好的实验设计、工程实现和跨团队协作能力，能独立完成基线、消融与精度—性能权衡。

2. 优先考虑

- 有视频生成、流式实时生成或多模态交互模型的量化/稀疏落地经验。

- 有 Diffusion 模型时间步感知量化、混合精度搜索或低比特质量恢复经验。

- 熟悉 CUDA、Triton、CUTLASS/CuTe 或 TensorRT Plugin，具备低精度/稀疏算子优化经验。

- 熟悉知识蒸馏、低秩分解、MoE 压缩或推理步数压缩等相关技术。

- 有相关论文、开源项目贡献或主流 AI 加速器部署经验。

我们提供

- 直面视频生成和多模态实时交互中最核心的质量—性能挑战。

- 完整参与从算法研究到规模化部署的技术闭环。

- 有竞争力的薪酬与期权，以及鼓励长期技术积累的工作环境。