Ivyea Jobs 5947 roles · 66 companies · 刚刚
阶跃星辰 · 大模型

大模型训练引擎优化工程师

上海 社招 · 全职 工程研发 预训练 / 基座模型

职位描述

负责大模型后训练阶段训练引擎相关系统建设与性能优化,重点面向 SFT、RL 等训练场景,提升训练效率、资源利用率、稳定性与训推一致性。 岗位职责 负责后训练阶段 SFT、RL 等训练引擎建设与分布式训练性能优化,支撑不同后训练任务的高效接入、稳定运行与规模化迭代。 负责低精度训练能力建设,提升低精度训练场景下的效率、精度与稳定性。 负责长上下文训练能力建设,支撑长序列后训练任务的高效训练。 负责后训练中的训推协同优化,提升 RL 等场景下训练与推理链路的整体效率。 负责训练稳定性与可观测性建设,提升大规模训练过程中的问题发现、定位与恢复效率。

任职要求

熟悉 PyTorch、Megatron、FSDP 等大模型训练框架,理解分布式训练基本原理。 具备大模型训练性能优化经验,熟悉通信优化、显存优化、重计算、算子融合、通信计算重叠等优化方法。 熟悉低精度训练、量化训练、长上下文训练、Sparse Attention、投机采样等方向者优先。 熟悉 SFT、PPO、GRPO、DPO 等后训练算法原理,理解后训练算法对训练系统的需求。 熟悉 Nsight、PyTorch Profiler 等性能分析工具,具备独立定位训练性能、精度和稳定性问题的能力。 立即投递