职位描述1. 负责机器人交互数据 Schema、标签规范、数据版本和 Data Card 建设。 2. 建设 Gold Set、Hard Case Set、Regression Set，支持模型和交互系统版本回归。 3. 设计并维护评测指标，包括结构化输出合法率、字段准确率、回应对象准确率、主动误触发率、澄清成功率、首反馈延迟等。 4. 建立日志回放和 Case Replay 流程，支持 Demo 和 Shadow 问题复现。 5. 负责 Teacher Label、自动标注、人工抽检和数据质量治理。 6. 将模型和系统 bad case 转化为训练数据、评测样本或运行时规则改进项。 7. 保证训练集、评测集和回归集隔离，避免数据泄漏和指标虚高。 8. 与模型训练、交互系统、部署和表达团队协作，输出周度评测和数据闭环报告。任职要求* 熟悉 Python、数据处理、JSON、Pandas、SQL 或常见数据工具； * 具备机器学习评测、数据集构建、实验分析、日志分析经验之一； * 能设计清晰的标签体系、指标体系和错误分类； * 能从 bad case 中判断问题归因； * 具备较强文档能力和结构化分析能力； * 对大模型、多模态、机器人交互有基本理解。 加分项 * 做过 benchmark、回放平台、实验平台、数据平台； * 做过大模型评测、VLM 评测、Agent 评测、RAG 评测； * 熟悉 LLM Judge、人工评审、hard case mining； * 熟悉可视化报表、日志检索、数据版本管理； * 有机器人、自动驾驶、智能座舱、语音交互、多模态系统评测经验。
