职位描述岗位职责 1.参与端侧引擎的研发工作，确保其能在各类设备上流畅运行。针对NV平台进行深入的算子适配与性能优化，内存占用优化，降低功耗，减少推理延迟，全方位提升端侧推理的性能表现。 2.定位并解决现有NV生态体系中模型优化的问题，提出修改意见并落地到自研模型优化框架中，在算法精度损失可接受的情况下提升模型推理性能 3.深入调研多种模型优化框架与算法，设计开发模型优化工具链与评测工具，打造业界SOTA的模型优化工具链 4.与算法团队密切配合，深度参与模型到端侧引擎的转换与验证工作。从工程实现的角度，为算法优化提供专业建议，确保模型在端侧的高效运行与精度保障。任职要求岗位要求 1.对主流推理引擎（如 TensorRT、TFLite、MNN等）有深入的理解，熟悉其底层加速原理与运行机制，能够灵活运用并进行二次开发。 2.精通python/c++编程，熟练使用huggingface、torch等框架进行模型微调，并有过模型优化落地经验 3.熟悉模型优化常用技术如量化、剪枝、蒸馏的内部原理，并可以熟练使用优化框架如torchao，transformer engine，model optimizer等对模型进行压缩与交付 4.了解transformer结构，有过vlm，vla等端侧部署与优化经验 5.了解cuda算子开发，有过量化算子开发经验
