职位描述

职位名称分布式推理工程师（Distributed Inference Engineer）岗位职责分布式推理系统开发设计并实现大规模AI模型（如LLM、多模态模型）的分布式推理框架，优化吞吐量（Throughput）和延迟（Latency）。开发模型并行（Tensor/Pipeline Parallelism）、动态批处理（Dynamic Batching）和连续批处理（Continuous Batching）策略。解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。高性能推理优化优化计算图执行（如使用TensorRT、ONNX Runtime、vLLM等工具）。实现量化（FP8/INT8）、KV Cache优化、Flash Attention等加速技术。针对CPU/GPU/NPU等硬件进行底层性能调优（如CUDA内核优化、内存管理）。模型部署与工具链建设构建自动化模型部署流水线（推理的端到端Pipeline）。开发监控和调试工具，实时跟踪推理性能（显存占用、计算利用率等）。跨团队协作与算法团队合作，针对推理场景优化模型架构（如减少计算量、优化算子）。与运维团队协作，设计高可用、可扩展的推理服务架构。技术要求必备技能精通 Python/C++，熟悉PyTorch/TensorFlow推理生态（如TorchScript、Triton Inference Server）。深入理解分布式系统（NCCL/RPC通信、GPU Direct RDMA）和并行计算（CUDA、OpenMP）。熟悉推理加速技术（量化、剪枝、算子融合）和框架（TensorRT、vLLM 、Sglang）。有大规模模型服务化经验（如使用FastAPI、gRPC构建高并发API）。加分项熟悉LLM推理优化（PagedAttention、Speculative Decoding）。有国产硬件适配经验。参与过开源推理框架（如GGML、TGI）贡献。论文/专利成果（涉及模型压缩、分布式推理等方向）。任职要求学历：计算机/电子工程/数学等相关专业，本科及以上学历。经验：3年以上AI模型部署或分布式系统开发经验。特质：对性能优化有极致追求，能快速定位系统瓶颈。工作地点地点：北京/上海