Ivyea Jobs 8332 roles · 120 companies · 刚刚
衔远科技 · 大模型

高级测试专家 / 测试专家 — AI Agent 平台方向

北京 社招 · 全职 Agent / 应用算法

职位描述

主导 AI Agent 平台质量体系建设,规划并构建基于 AI 的全自动化测试体系,探索利用 AI Agent 实现测试需求分析、用例生成、脚本编写、自动执行、缺陷定位、失败归因和测试报告生成等全流程自动化; 主导或参与 AI Agent 平台的自动化测试、评测体系、回归测试、稳定性测试、安全与可靠性测试建设,面向多类 Agent 产品设计完整测试方案和测试用例; 深入参与 AI Agent 平台的架构设计与能力建设,从测试与质量保障角度对 Agent Runtime、工具调用、上下文管理、任务编排、模型调用、Guardrails、权限控制、可观测性等模块提出合理化建议; 负责设计和建设 AI Agent 的自动化评测体系,包括任务成功率、工具调用准确率、多轮任务完成率、幻觉率、越权操作率、人工介入率、成本与延迟等核心质量指标; 编写并实现自动化测试用例、Eval Case、端到端测试场景和回归测试集,与研发、算法、产品、架构师共同完善测试覆盖度和评测标准; 针对 AI Agent 在真实业务场景中的不确定性,设计异常场景、边界场景、长链路任务、多工具协同、失败恢复、人机协同等专项测试方案; 建设 Agent 行为追踪、问题复现、失败归因和质量度量机制,推动问题闭环,持续提升平台稳定性、可控性和交付质量; 协助提升团队对 AI 原生产品的质量意识,推动测试左移、评测自动化、质量门禁和研发流程优化,提升整体交付效能。

任职要求

深入理解软件测试技术、自动化测试体系和质量保障方法论,有平台型产品、AI 应用、Agent 系统、RAG 系统或大模型应用测试经验者优先; 熟悉 AI Agent 的基本工作机制,包括 Prompt、上下文管理、工具调用、任务规划、多轮对话、模型调用、Agent Workflow、Guardrails、Eval 等核心概念; 具备基于 AI 提升测试自动化能力的实践经验或强烈兴趣,能够探索利用大模型 / AI Agent 进行测试用例生成、接口测试、UI 自动化、日志分析、缺陷定位、测试报告生成和回归测试优化; 具备较强的问题分析和抽象能力,能够从复杂 Agent 执行链路中快速定位问题,找出最短复现路径,并识别深层次质量隐患; 精通 Python / Java / Go / Shell / TypeScript 等至少一种编程语言,能够熟练编写自动化测试脚本、接口测试、端到端测试、评测用例及测试工具; 熟悉常见测试框架和工程实践,如 pytest、JUnit、Playwright、Selenium、接口自动化、CI/CD、日志分析、监控告警、Mock、压测等; 有 AI Agent、LLM 应用、RAG、智能客服、代码生成、自动化办公、数据分析 Agent 等相关测试经验者优先; 有 Eval Harness、Benchmark、Prompt 回归测试、模型效果评测、幻觉检测、安全红队测试、Agent Trace 分析经验者优先; 有性能、稳定性、大规模并发、长链路任务、异步任务调度、分布式系统测试经验者优先; 10. 具备良好的沟通协调和逻辑思维能力,能够推动研发、算法、产品等多角色协同解决质量问题,并持续优化测试流程和质量标准。
衔远科技去官方页面投递 →