职位描述
分布式推理系统开发
1、设计并实现大规模AI模型（如LLM、多模态模型）的分布式推理框架，优化吞吐量（Throughput）和延迟（Latency）。
2、开发模型并行（Tensor/Pipeline Parallelism）、动态批处理（Dynamic Batching）和连续批处理（Continuous Batching）策略。
3、解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。
4、优化计算图执行（如使用TensorRT、ONNX Runtime、vLLM等工具）。
5、实现量化（FP8/INT8）、KV Cache优化、Flash Attention等加速技术。任职要求
精通 Python/C++，熟悉PyTorch/TensorFlow推理生态。
深入理解分布式系统（NCCL/RPC通信、GPU Direct RDMA）和 并行计算（CUDA、OpenMP）。
熟悉推理加速技术（量化、剪枝、算子融合）和框架（TensorRT、vLLM 、Sglang）。
