职位描述
1.负责大模型推理性能的整体优化；
2.负责推理引擎在KV cache压缩，投机采样等领域的优化迭代；
3.负责推理引擎的量化、转换、压缩及相关工具的开发；
4.负责推理引擎Python/C++ 接口的设计与实现；
5.负责推理引擎中基础设施的实现，如IR设计、AI编译、图优化、内存管理、算子管理、任务调度等。任职要求
1.硕士及以上学历，计算机相关专业；
2.熟悉 C++ 编程，了解常用数据结构及算法，了解 Python 编程；
3.【加分项】有良好的数学思维，了解大模型相关知识；
4.【加分项】了解PyTorch，能够使用 PyTorch 构建模型推理 pipeline；
5.【加分项】了解主流推理框架的使用，如TensorRT、vLLM、TGI等。
