职位描述
1. 负责大模型端侧推理的基础软件框架研发。
2. 负责标杆模型在端侧异构系统上的高效适配和硬件推理加速优化的研发。
3. 参与端侧大模型项目的研发规划，协同配合项目落地。任职要求
1. 计算机相关专业，全日制硕士及以上在读。
2. 熟悉 C/C++ 和 Python，有扎实的体系结构和操作系统基础知识。
3. 熟悉CUDA编程架构，熟悉Pytorch。
4. 了解大模型的基础算法，了解vLLM、SGLang、llama.cpp等LLM框架。
5. 了解 FlashAttention、FastTransformer、FlashInfer、PageAttention等大模型推理计算库。
6. 保证最少半年、每周不少于3天的实习时间。
