职位描述1. 根据真实业务和研究问题搭建评测场景，还原任务链路、执行条件、输入输出和完成标准。 2. 实现和维护场景所需的环境、数据、工具、MCP 接口、harness、评估器和模型适配，并管理其版本与依赖。 3. 建设评测运行能力，支持任务编排、沙盒隔离、资源调度、超时控制、失败重试和批量运行。 4. 统一记录模型请求、运行参数、执行轨迹、工具调用、日志、指标、reward 和评测产物，支持回放与复现。 5. 建设统一的模型对照和榜单管理能力，保证不同模型、版本和工作流能够在明确的控制条件下比较。 6. 建立评测工程的稳定性和维护机制，支持回归检测、场景变更影响追踪和运行问题定位。任职要求1. 具备扎实的编程基础，熟练使用 Python，掌握 Go、Java 或其他后端语言者优先。 2. 具备平台工程、工作流编排、自动化测试或大规模任务运行经验，能够独立开发和维护生产系统。 3. 熟悉 Linux、容器、网络和分布式系统，理解任务调度、资源隔离、失败恢复和可观测性。 4. 具备较强的问题定位能力，能够结合日志、指标、运行轨迹和错误样本排查评测链路问题。 5. 对大语言模型、Agent、工具调用和模型评测有基本理解，能够将场景定义转化为可执行实现。 6. 具备良好的工程质量意识、文档能力和跨团队协作能力。 加分项 - 参与过大语言模型、Agent 或代码智能体的 benchmark、自动评测或榜单系统建设； - 有 Harbor、SWE-bench、MCP、沙盒或其他评测编排框架的使用和建设经验； - 有模型服务适配、工具调用链路、运行轨迹采集或结果回放经验； - 有评测系统的版本治理、回归检测、稳定性建设或成本优化经验。
