职位描述
1. 参与大模型预训练 Infra 框架的维护与迭代，协助保障训练系统的稳定性与可扩展性；
2. 参与 MoE 架构的训练优化工作，包括 Expert 并行、负载均衡、通信优化等方向；
3. 协助设计与优化并行策略（TP/PP/DP/EP/SP），提升大规模训练的吞吐量与资源利用率；
4. 配合算法团队，协助适配新模型架构至现有训练框架。任职要求
1. 硕士在读，计算机、人工智能等相关专业，实习时间不少于 3 个月；
2. 理解 Transformer、MoE 等主流模型架构的基本原理；
3. 了解分布式训练基本概念，接触过 Megatron-LM、DeepSpeed、FSDP 中至少一种框架；
4. 了解常见并行策略（Tensor Parallel、Pipeline Parallel、Expert Parallel 等）的基本思路；
5. 熟练使用 PyTorch，有实际的模型训练经验；
6. 对大模型 RL 训练（RLHF/GRPO 等）有基本了解；
7. 学习能力强，具备良好的代码能力与问题排查意识。
加分项
1. 有 MoE 模型训练或相关加速库使用经验；
2. 了解 Flash Attention、混合精度训练、Activation Checkpointing、ZeRO 等优化技术；
3. 有 CUDA/Triton 算子开发或 GPU 性能分析（Nsight、NCU 等）经验；
4. 有开源训练框架的源码阅读或贡献经验；
5. 有相关方向的论文阅读或复现经历。
