职位描述
1. 负责爱诗科技推理引擎的设计、开发与持续优化;
2. 结合线上业务需求,通过链路优化、CUDA算子优化等技术手段,致力于构建行业领先的高性能推理引擎;
3. 研发并实施高效的推理加速方法,如模型剪枝、模型量化、算子优化等;任职要求
1. 拥有计算机科学、软件工程等相关专业硕士及以上学历,具备大语言模型(LLM)、Stable Diffusion (SD) 或 DiT 模型推理优化的实际工作经验。
2. 精通PyTorch,同时熟练掌握C/C++,具有深入的基于CUDA的GPU性能优化背景;
3. 深入理解GPU的高性能计算优化原理,熟悉并行计算、内存访问优化和低比特计算等关键技术;
4. 了解当前主流的大语言模型和图像视频生成技术,具有LLM推理框架开发经验者优先考虑。
5. 良好的沟通能力和团队合作精神,能够与算法、产品团队紧密协作。 具备较强的自我驱动力和学习能力,能够快速跟进行业最新动态。