职位描述
岗位职责
1. 负责端侧 AI 模型部署全链路建设,覆盖模型转换、计算图优化、量化与目标硬件适配,搭建模型"一键部署"工具链与回归基线;
2. 负责端侧推理性能优化,围绕首字时延(TTFT)、解码吞吐、内存占用与功耗开展专项攻坚,建立量化指标体系;
3. 深入 NPU / GPU / CPU 推理栈,完成模型在各硬件后端的部署适配与调优,处理算子支持、精度对齐与跨引擎协同等底层问题;
4. 主导大模型端侧部署与加速:KV Cache 管理、量化压缩、投机解码、批处理调度等机制的落地与调优;
5. 推进模型轻量化工作:INT8 / INT4 低比特量化、AWQ / GPTQ 等后训练量化方案、结构化剪枝与 LoRA 适配;
6. 协同算法、系统、产品团队输出技术方案,负责问题闭环,保障版本交付、多机型兼容与线上稳定性。任职要求
1. 本科及以上,计算机、通信、电子信息相关专业,3 年以上端侧 AI 推理部署或系统级引擎开发经验;
2. 精通 C/C++,熟悉 JNI / NDK,具备独立模块设计、编码与问题排查能力;
3. 熟悉 Android Framework 与 Native 开发,理解内存管理(mmap / ashmem / AHardwareBuffer)、多线程与性能剖析方法;
4. 熟悉主流端侧推理框架(QNN / TFLite / MNN / llama.cpp / ONNX Runtime)至少一种,掌握从模型文件到硬件执行的完整部署链路;
5. 掌握模型部署相关技术:量化、图优化、算子适配,理解 LLM 推理全流程(Prefill / Decode、KV Cache、采样);
6. 熟练使用性能剖析工具(Snapdragon Profiler / Perfetto / simpleperf / Nsight 等)定位瓶颈;
7. 良好的沟通协作能力,主动推进问题,责任心强。
加分项
1. 有端侧大模型量产落地经验,实现过可用的首字时延与解码速度;
2. 有自研算子 Kernel 或推理编译器经验,熟悉 TVM / MLIR / XLA 等框架;
3. 有 ARM 汇编级优化经验(NEON / SVE2),或深入理解 NPU 硬件架构与厂商 SDK;
4. 有 llama.cpp / MNN / onnxruntime / TVM 等开源项目贡献;
5. 具备跨平台部署经验,同一模型在 Android / Linux 多端的一致性能表现
立即投递