职位描述
1、负责大模型（文本、图像、语音等多模态模型）推理引擎及服务的开发，支持自研及开源模型的快速部署和高性能推理；
2、结合大模型业务场景，优化模型落地过程中的性能问题，降低推理成本。包括但不限于：模型量化蒸馏，服务调度优化等；
3、负责开发和维护大模型MaaS服务，支持高并发调用场景；
4、负责大模型的国产化适配任职要求
1、硕士及以上学历，1年以上算法相关工程化经验。计算机、电子、自动化、软件等相关专业；
2、熟悉一种或多种LLM推理框架，有vllm、sglang、lmdeploy、TensorRT-LLM等相关经验优先；
3、熟悉大模型调度优化技术，包括PD分离、多级缓存、多实例调度、负载均衡等，如SGLang model gateway、lm-d；
4、熟悉大模型引擎优化技术，包括prefill cache、tensor并行优化等。有cuda或triton算子优化经验优先；
5、有昇腾、海光、平头哥、沐曦等算力芯片适配经验优先。
