蚂蚁集团-大模型训练&推理加速-健康事业群

设计、开发和实现高效的大型模型训练和推理系统，以提高计算性能和加速模型收敛速度。

与团队合作，优化算法和模型架构，以适应并充分利用硬件资源，如 GPU、TPU 等。

进行模型性能分析和调优，识别和解决瓶颈问题，提高模型的训练和推理速度。

实施并维护自动化工具和流程，以简化和加速模型训练和推理的部署过程。

跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队的技术发展。

深入理解机器学习算法和模型的原理和实践，包括常见的GPT-1、GPT-2、GPT-3、Transformer等。

熟悉常见的机器学习框架，如 PyTorch、TensorFlow 等，并具有丰富的实际项目经验。

熟悉常见的分布式机器学习框架，Megatron、DeepSpeed、HuggingFace

熟悉 GPU 和其他加速硬件的使用，有相关的性能调优经验，有FastTransformer、CUDA优化、TensorRT、Triton的一些经验更好。

熟悉分布式计算和并行计算的概念和技术，有相关的实际经验。

熟练使用编程语言，如 Python、C++ 等，在模型训练和推理的开发过程中有丰富的编码经验。

具备良好的沟通和团队合作能力，能够与跨功能团队密切合作，解决问题并实现共同目标。