职位描述
岗位职责
1. 面向 Agent 场景优化推理服务性能：针对 Agent 多轮调用、工具返回后二次推理、上下文膨胀等特征，优化 KV Cache 复用策略、请求批处理调度、TTFT 与 TPOT 表现，降低单位任务完成成本。
2. 负责 Agent 推理服务在推理平台上部署与资源协同：完成不同规格、不同量化版本模型的高效部署与调优；参与分布式 KV Cache 的跨节点管理与复用优化，提升集群级 Prefix Cache 命中率。
3. 面向 Agent 推理负载建设调度与运维能力：针对多轮会话、工具调用间歇性突发等负载特征，优化推理任务的弹性伸缩与自动化运维（AIOps）机制，持续优化推理延迟与 Token 成本，提升平台资源利用率。
4. 与推理引擎团队协作，将 Agent 场景的真实负载特征反馈到推理引擎的优化迭代中。任职要求
任职要求
1. 本科及以上学历，计算机/人工智能相关专业，5 年以上开发经验，具备扎实的工程编码能力与系统设计思维。
2. 熟悉至少一种主流推理引擎（vLLM / SGLang / TensorRT-LLM）的内部机制，理解连续批处理、PagedAttention、KV Cache 管理、量化等核心概念，能读懂 profiling 数据并排查推理性能瓶颈。
3. 有 LLM 生产部署与调优经验：能独立完成部署方案设计（量化选型、批处理配置、显存规划）并验证效果；有模型分发与动态加载相关实践，如模型仓库管理、按需加载/卸载、热更新与多版本灰度部署；有 K8s 环境下推理服务部署与弹性伸缩经验，理解 Device Plugin、GPU 资源声明机制。
4. 理解 Agent 基本执行模型（Tool Calling 流程、上下文窗口管理、多轮会话状态保持），有实际使用或集成 Agent 框架（LangGraph、OpenAI Agents SDK、Claude Agent SDK 等）的经验，了解 Agent 常见失败模式（上下文丢失、工具误用、循环卡死）在推理侧的表现。
5. 熟悉 Python/Go/TypeScript/Java 中至少一种，熟悉云原生生态；对以下至少一个方向有实际动手经验或深入理解：
- 异构 GPU 适配：了解不同 GPU 架构在显存带宽、算力特征上的差异及其对推理性能的影响，有跨型号 GPU 部署推理服务的适配经验；
- 分布式 KV Cache 管理：了解 Prefix Cache 跨请求/跨节点复用的基本原理，接触过 Mooncake、Dynamo KVBM、LMCache 等方案，或对 vLLM/SGLang 的 Prefix Cache 实现有源码级理解；
- 推理服务性能调优：有基于请求路由、批处理策略、Prefill/Decode 协同等手段优化推理服务 TTFT/TPOT 的实践经验。
加分项
1. 有云平台或 MaaS 平台建设经验。
2. 有可观测/评测基础设施经验：用过 OpenTelemetry、LangFuse 或类似工具，做过 Agent 或推理链路的 Tracing 与成本归因。
3. 有沙箱/隔离环境相关经验：Firecracker、gVisor、Kata Containers 等，理解 Agent 代码执行场景对 Infra 的额外约束
