职位描述
岗位职责:
1.参与深度学习框架 PyTorch 与自研芯片软硬件栈对接和性能优化;
2.参与主流大模型推理引擎(如 vLLM 和 SGLang)与自研芯片软硬件栈对接,实现大模型的高效推理部署;
3.参与芯片的软硬件协同设计。任职要求
任职要求:
1.精通 C/C++ 和 Python,有扎实的编程基础、良好的编程风格和工作习惯;
2.有AI领域的基础知识,了解相关算法模型及常见应用领域;
3.具备主流深度框架或大模型推理引擎开发经验,熟练应用 Profiling 技术;
4.熟悉大模型分布式推理技术(包括数据并行、张量并行、序列并行和专家并行);
5.具有良好的团队协作精神,责任心强,能够积极主动地完成相关工作。
加分项:
1.熟悉深度学习编译器(如 XLA、TVM、Triton);
2.具备大规模模型训练和部署经验;
3.具备丰富 CUDA 并行编程和典型机器学习算子开发经验。"