职位描述
岗位描述
参与分布式大模型推理框架的开发与优化，提升推理性能与吞吐量；
针对不同场景的 LLM 请求特点，优化 GPU 计算流程，打造业内领先的高效 LLM 推理引擎；
调研并引入前沿机器学习系统技术，推动系统架构的持续优化升级；
与算法团队深度合作，探索算法-系统协同优化方案，提升整体推理效率。任职要求
计算机、电子、自动化、软件等相关专业，本科及以上在读，能实习 6 个月以上优先；
具备操作系统、计算机体系结构等基础知识，对底层性能优化有浓厚兴趣；
熟悉SGLang、vLLM、Megatron 等框架，有开源项目贡献或相关经验者优先；
熟悉CUDA编程和GPU上性能优化，有Triton、CUTLASS等开发经验者优先；
具备良好的沟通能力和团队协作精神。
岗位亮点
团队技术氛围浓厚，提供充足的GPU计算资源和极具挑战的技术场景，能够快速成长；
深入大模型推理优化，有机会参与前沿技术研究。
允许3个月内投递4个职位，请选择适合的职位进行投递
立即投递
