职位描述负责大模型训练框架研发，主要包括： 1. 基于高性能训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）进行二次开发与优化； 2. 分析并优化训练阶段的性能瓶颈，包括显存占用、通信延迟、计算效率等； 3. 结合模型算法逻辑，设计和实现针对性的高效分布式并行训练策略； 4. 深入研究 CUDA、通信框架（NCCL、RDMA 等），开发高性能算子及优化分布式通信效率； 5. 配合算法需求，开发 RL 训练框架、迭代 RL 训练算法逻辑，并优化 RL 训练效率。任职要求1. 学历背景：统招本科及以上学历，计算机相关专业，具备扎实的理论基础和强大的动手能力； 2. 编程能力： 1. 熟悉 Python/C++/CUDA/CUTLASS/Triton 编程，熟悉 PyTorch 框架及其底层实现； 2. 熟悉分布式系统开发与调试，熟悉分布式通信开发 NCCL/IB/RDMA，有多进程调度与并行算法优化经验者优先； 3. 训练与推理经验： 1. 熟悉大模型结构与算法（LLM/VLM/VLA/DiT、MoE 架构、各种 RL 算法 等）； 2. 熟悉分布式训练/推理的常用策略（DP/TP/PP/EP/CP、recompute 等）； 3. 有训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）开发与优化经验；
