职位描述
1.负责端侧芯片量化算法的研究与开发,专注于定点量化,如将浮点运算转换为定点运算,实现低比特量化、混合精度量化等,提升模型在端侧芯片上的推理效率,降低功耗和计算资源消耗;
2.量化工具的开发及维护,优化W4A4/W4A8/W4A16/W8A8模式下的量化精度及混合精度,掌握模型精度定位及优化的方法,进行模型精度测评,并帮助下游团队进行落地部署;
3.掌握常见的量化调优算法,比如spinquant、smoothquant等,掌握QAT、KV-Cache压缩、稀疏化、剪枝等压缩算法;
4.与芯片设计团队、模型研发团队紧密合作,针对不同架构的端侧芯片进行量化适配,确保量化后的模型性能损失最小化,提高硬件利用率;
5.搭建和优化端侧芯片量化工具链,实现量化流程的自动化和高效化,提高整体研发效率,支持主流深度学习框架(如 PyTorch、TensorFlow)的量化部署;
6.开发训练精度对比工具,进行算子级别和模型级别的精度分析;任职要求
1.计算机科学、电子工程、数学等相关专业,本科及以上学历。
2.具备扎实的编程基础,熟练掌握 C++ 和 Python 编程语言。
3.深入理解深度学习模型的原理和架构,熟悉端侧芯片的架构和工作原理,有 2 年以上端侧芯片量化或相关工作经验,有实际落地项目经验者优先。
4.熟悉定点量化的原理,包含低比特定点量化、混合精度定点量化等,掌握常用量化算法。
5.具备良好的团队协作能力和沟通能力,能够在跨部门合作中有效推进项目进展,与芯片设计、算法开发等团队密切配合。
6.对新技术有强烈的好奇心和学习热情,能够快速掌握并应用到实际工作中,具备较强的问题解决能力。