职位描述核心职责 1、建设授权范围内的数据接入与处理链路，关联任务、设备和模型版本，支持增量处理及失败重试。 2、处理图像、语音、传感器和机器人日志等多模态数据，完成流式时间对齐及标定信息关联。 3、完善清洗、去重、标注和质量检查工具，提供可检索、可回放的数据，减少重复加工和人工排查。 4、管理数据集版本及来源谱系，按场景、设备等维度合理划分训练集、验证集和测试集，检查重复及数据泄漏。 5、与算法及机器人团队建设失败样本回流、回归集和评测工具，落实授权用途、访问控制及数据保留要求。任职要求任职要求 1、在数据系统、数据工程、多模态学习、时序数据、机器学习评测或机器人系统等方向具备扎实基础，熟练使用 Python 和 SQL。 2、熟悉 Spark、Flink、Beam 或同类批处理和流处理框架，能够设计可扩展的数据处理、索引和回放链路。 3、能够处理多模态数据中的时间对齐、缺失、重复、异常、版本变化和标定关系，明确数据模型、字段规范和质量标准。 4、深入理解幂等处理、增量处理、失败重试、数据校验、历史回溯、数据血缘和访问控制等机制。 5、能够将算法需求转化为样本定义、数据规则、评测指标和验收标准，并对数据问题进行定位和归因。 优先条件： 1、在多模态数据处理、模型评测、数据质量治理或时序数据方向具备论文、专利、开源项目或生产系统落地成果。 2、具备机器人、自动驾驶、物联网或其他时序多模态数据经验，熟悉时间戳同步和标定数据处理。 3、具备数据版本管理、数据血缘管理、标注平台、评测平台或隐私保护工程经验。 4、具备样本检索、难例挖掘、流处理或大规模存储优化经验。
