职位描述
1.前沿框架调研
前沿技术探索，跟踪大模型领域最新模型和框架(sglang /vLLm)研究
2.大模型算法设计与优化
- 负责 Transformer 及其变体(如MoE)的算法研发与性能调优。
- 研究并实现高效注意力机制(如FlashAttention)以降低显存占用和计算延迟。
- 针对Inno GPU 架构特性优化模型计算流程，提升吞吐量与能效比。
2.模型压缩与量化技术开发
- 开发4-bit/8-bit 量化算子(如 GPTQ、AWQ)，平衡精度与推理速度。
3.GPU 加速与并行计算
- 基于OpenCL/Hip编程，实现模型算子级优化(如矩阵乘法)。
4.开发分布式框架，支持多 GPU 或多节点
- 针对带宽瓶颈设计数据传输优化策略，减少通信延迟。
- 性能评估与工程落地
- 与其他团队协作，完成分布式部署
5.撰写技术文档，输出专利或论文。任职要求
具备良好的沟通能力，能与硬件、软件团队高效协作。
1.学历与背景
硕士及以上学历，计算机科学、电子工程、数学等相关专业。有大模型(LLM)研发经验 ，熟悉典型模型架构(如GPT、BERT、LLaMA)
2.技术能力
- 熟悉深度学习框架(PyTorch/TensorFlow，sglang /vLLm/ Transformer)，掌握其底层原理与算子优化方法。
- 熟悉CUDA 编程 ，具备 GPU 并行计算、内存管理及性能调优经验。
- 熟悉模型量化技术有实际项目落地案例。
- 掌握分布式技术（如DP/TP/PP/EP）。
3.编程与工程能力
- 熟练使用 C/C++、Python ，具备高性能代码开发能力。熟悉版本控制工具(Git)
- 有开源社区贡献经验者优先。
- 熟悉 NVIDIA GPU 架构(如 Ampere、Hopper)，了解 TensorRT、cuDNN、NCCL 等库者优先。
- 熟悉模型服务化框架(如 Triton、TFServing、ONNX Runtime)
- 有大规模模型部署经验者优先。
- 熟悉 芯片架构设计(如 GPU、ASIC)者优先。
