职位描述- 从用户体验出发，建立覆盖模型、Agent、实时会话、音视频链路和业务应用的完整质量体系，而不是只在发布前验证功能。 - 建设模型与 Agent 的 evaluation 体系，围绕真实垂直场景设计数据集、指标、回归基线和版本对比，持续发现效果提升与隐性退化。 - 建设实时语音链路的质量评测，覆盖 ASR、TTS、VAD、turn-taking、barge-in、端到端延迟、弱网恢复、音画同步和长会话稳定性。 - 面向分布式、高并发生产系统建设自动化测试、容量压测、故障注入、稳定性验证和发布门禁。 - 建设 session replay、线上抽样、异常聚类和问题回放机制，把概率性、低复现率的问题沉淀为可持续运行的质量资产。 - 深度使用 coding agent 和 AI 工具完成 testcase 生成、测试开发、数据分析、问题归因和回归验证，并持续改进团队的 AI Native 质量工程方法。 - 直接参与线上问题和客户现场排查，与模型、研发和产品共同完成从用户反馈、根因定位到机制修复的闭环。 - 对最终用户感受到的质量负责。能够推动系统补齐必要的可测性、可观测性和降级能力，而不是被动接收待测版本。任职要求- 对 AI 有真实而持续的热情，主动使用和研究新模型、Agent、evaluation 方法与 AI 测试工具。 - 来自成熟业务线，服务过分布式、高并发或高可用生产系统，经历过真实流量、复杂发布、线上事故和长期质量治理。 - 有很强的测试开发和工程能力，能够独立建设测试框架、评测 pipeline、数据工具和质量平台，不以手工测试作为主要工作方式。 - 理解生成式模型输出的概率性，能够用场景集、指标、分布、人工判断和线上反馈共同评估质量，而不是套用传统固定断言。 - 熟悉现代云原生系统和常用中间件，能够针对缓存、消息、数据库、事件流、服务依赖和资源瓶颈设计有效的质量方案。 - 能从数据、trace、日志和用户 session 中定位复杂问题，也能判断哪些质量问题来自模型、系统、交互设计或业务逻辑。 - 有很强的责任心和用户意识，愿意为了复现和解决用户问题投入足够的耐心、专注力和工程判断。 - 能推动研发、模型和产品共同承担质量，不把 QA 变成流程末端的验收角色。 高权重加分项 - 做过 LLM、生成模型或复杂 Agent 系统的 evaluation，在生产环境中有过效果调试、数据集建设和垂直场景评测经验。 - 做过实时会话或实时语音链路质量工程，对 ASR、TTS、VAD、turn-taking、barge-in、jitter 或 lip-sync 有深度理解。 - 有 RTC、直播、实时游戏、客服平台、协作产品或其他强 realtime 属性业务经验。 - 做过大规模压测、chaos testing、production replay、灰度发布或重大客户上线保障。 - 有质量平台、开发者工具或 AI 自动化测试产品的建设经验。
