职位描述
参与基础文本模型的预训练和推理性能优化，主要工作包括：
1、跟进 NVIDIA GPU新硬件特性，基于Hopper、Blackwell等新硬件架构进行性能优化；
2、分析预训练性能瓶颈，根据trace数据设计和实现性能优化方案；
3、优化推理引擎的吞吐、延迟和显存利用率，分析并解决性能瓶颈；
4、开展不同硬件、精度和并行策略下的性能测试，沉淀可复现的测试结果和优化方案；
5、与算法及基础设施团队合作，将优化方案应用到实际模型训练或部署流程中。任职要求
1、计算机、人工智能、电子工程等相关专业在读；
2、熟悉 Transformer 架构，理解预训练和自回归推理的基本流程；
3、熟练使用 Python，具备良好的工程实现和问题排查能力；
4、至少满足以下一个方向：
a.熟悉 PyTorch，以及 Megatron-LM、DeepSpeed、FSDP 等训练框架中的一种或多种，了解数据并行、张量并行、流水线并行、ZeRO 等技术；
b.熟悉 vLLM、SGLang、TensorRT-LLM 等推理引擎中的一种或多种，了解 KV Cache、连续批处理、Paged Attention、量化等技术；
c.熟悉 GPU 内存层次、线程调度、Tensor Core、算子融合及性能分析方法，具备实际的算子开发或调优经验；
d.了解 GPU 架构及 CUDA 基础，对算子性能、显存访问和通信开销有基本认识；
e.能够阅读英文技术文档和开源代码，并通过实验验证结论。
