职位描述
1、大语言模型在DSA加速器上的适配与性能调优;
2、Torch加速器插件的开发与维护;
3、vLLM推理框架的开发与维护。任职要求
1、熟悉PyTorch扩展机制,具备Torch加速器插件或自定义算子开发经验;
2、具备LLM推理加速与部署经验,熟悉Attention、KV Cache等核心推理流程;
3、有vLLM或同类大模型推理框架 的开发、定制或优化经验;
4、熟练使用C++/CUDA/Python,能够进行源码级调试与性能优化;
5、具备性能分析与Profiling能力,可定位并优化算子级瓶颈。