Ivyea Jobs 14659 roles · 250 companies · 刚刚 帮公司接 AI
清微智能 · AI 芯片

模型量化与部署工具开发工程师

北京 社招 · 全职 推理 / 部署 算法

职位描述

1. 开发模型转换、权重编码及自定义部署产物导出工具,管理模型配置、量化参数、目标信息和版本元数据。 2. 实现或适配PTQ、校准、低比特权重量化及混合精度配置,分析模型质量与资源成本,形成可复现的量化方案。 3. 实现离线Tensor布局重排及参数映射,与框架、算子团队核对文件布局、加载布局和执行数值解释。 4. 开发中间Tensor采集导出、独立参考比较、误差统计及单算子与模型精度定位工具,生成精度分析报告。 5. 维护任务质量评测和数值回归,固定数据、预处理、采样和版本条件,区分数值偏差与任务质量退化。 6. 消费Runtime及框架提供的采集记录,开发性能统计和报告,明确时延、内存、搬运及CPU指标的计量边界和数据完整性。 7. 维护命令行、参数检查、错误诊断、部署示例和用户文档,支持模型导入、部署及问题复现。

任职要求

1. 计算机、电子、数学或相关专业本科及以上学历,3年及以上模型量化、转换、精度调试或推理部署工具研发经验。 2. 熟练掌握Python、PyTorch和NumPy,具备C/C++基础及工程化工具开发能力,能够理解模型执行与权重数据。 3. 理解PTQ、校准、scale/zero point、分组粒度和误差传播,对一种量化方法有实现、适配或系统性评估经历。 4. 理解Tensor形状、数据类型、布局和元信息,能够处理格式转换、低比特编码及量化参数对应关系。 5. 具备中间结果对比、模型质量评测或数值偏差定位经验,能够建立独立参考与可重复的测试条件。 6. 能够分析性能采集记录、构建统计及报告工具,熟悉自动化测试、依赖与版本管理和命令行文档。 加分项 1. 有AWQ、GPTQ、GGUF或自定义低比特格式及布局开发经验,能够区分量化算法与文件格式。 2. 有文本、视觉语言或语音模型的量化、任务质量和部署验证经验。 3. 有模型调试器、Profiler报告、跨后端Tensor比较工具或端侧SDK工具开发经验。
清微智能去官方页面投递 →