1.研发分布式训练加速方案，优化并行策略方案例如：DP/TP/PP/MP/CP，提升千亿参数模型训练吞吐量；

2.设计混合精度训练与显存优化方案，开发自适应梯度压缩、通信优化模块，实现单卡训练模型规模提升和降低分布式训练通信开销；

3.开发量化压缩工具链（支持GPTQ/AWQ等算法），实现模型8/4-bit无损量化部署；

4.设计多GPU推理调度策略，优化显存碎片管理与计算资源利用率；

5.跟进vLLM/TensorRT-LLM/SGLang等前沿框架，探索MoE架构/稀疏化训练等新型范式，将最新学术成果快速落地到工程实践。

职位要求：

1.计算机相关专业硕士及以上学历，3 年LLM系统优化经验；

2.精通PyTorch/TensorFlow框架底层机制，具备CUDA/C 内核开发能力；

3.掌握Megatron-LM/DeepSpeed/HuggingFace生态核心原理；

4.有千亿参数模型训练优化或百万QPS推理服务落地经验者优先；

5.熟悉NVIDIA GPU架构与性能分析工具；

6.熟悉大模型推理服务架构设计与微服务化部署。