职位描述
1. 负责大模型推理的基础软件框架研发；
2. 负责对接上层大模型算法应用部署组件，高效封装自研底层编译器框架和后端多源算子库；
3. 参与实现低开发门槛和用户友好的大模型中间层软件栈。任职要求
1. 计算机基础扎实，熟悉 C/C++ 和 Python，有扎实的数据结构和算法基础，具备系统软件开发架构能力；
2. 有TensorRT或任意一种视觉模型或者大模型推理平台的研发和优化经验；
3. 熟悉 FlashAttention、FastTransformer、Byte-Transformer、PageAttention等大模型推理计算库；
4. 熟悉MLIR、TVM、Triton等深度学习编译相关工作，有其中一种开发经验者优先；
5. 熟悉深度学习分布式训练和推理优化方案者优先。
