资深后端开发工程师 （架构方向 / LLM 网关）
职位描述
1.核心路由架构设计：基于 LiteLLM 框架进行深度二次开发，利用set_custom_routing_strategy接口实现自定义路由逻辑。
2.智能路由算法实现：
开发排队感知路由算法，根据后端推理引擎的num_requests_waiting指标动态调整流量分发，避免长队阻塞。
实现TTL/LoRA 感知路由，优化 LoRA 权重加载节点的选择策略，降低推理延迟。
3.全局流量调度（GSLB）：构建多站点流量调度逻辑，基于 Region 和 Priority 标签，实现毫秒级的延迟分层路由（Local -> Nearby -> Remote）。
4.技术难点攻关：解决高并发下的路由性能瓶颈，确保网关层的低延迟与高吞吐。任职要求
1.基础素质：计算机相关专业本科及以上学历，5年以上后端开发经验，具备扎实的计算机底层基础（数据结构、算法、网络协议）。
2.语言能力：精通 Python/Go（鉴于 LiteLLM 为 Python 生态，Python 优先），熟悉异步编程模型。
3.框架经验：深入理解 ASGI/WSGI 协议，有微服务网关、API Gateway 或负载均衡器开发经验者优先。
4.LLM 生态认知：熟悉大模型推理生态（如 vLLM, TGI, LoRA），理解推理引擎的 Metrics 含义（如gpu_cache_usage）。
5.架构能力：具备分布式系统设计经验，能够处理多区域、多活架构下的数据一致性与延迟问题。
