职位描述
职位描述
1、围绕Step大模型数据全生命周期，建设海量数据的管理/生产/消费/质量的统一平台，提升大模型数据全生命周期的使用效率与质量，赋能算法预训练、SFT/RLHF等场景；
2、建设数据管线的全链路可追溯和自动化能力：作业级容错与自愈、自动化质量监测、数据版本化与血缘建立、数据实验归因体系；
3、主导技术选型与架构优化，基于Spark/Flink/Ray、湖仓一体、向量数据库，调度引擎等技术栈，构建高吞吐、高容错、可扩展的处理存储能力，支撑日PB级数据处理；
4、协同基础架构/云平台团队，搭建稳定高效的底层数据基础设施（数据湖、对象存储、分布式计算、大规模数据检索、数据血缘系统，调度引擎，算力平台等）；
5、构建大模型领域的Data Agent，重构AI-Native的数据平台范式；与算法、数据交付团队紧密配合，以Co-Design方式共同提升模型效果任职要求
1、本科及以上学历，计算机、软件工程、人工智能、自动化等相关专业优先；
2、3年以上数据工程系统或者基础架构研发经验，熟练掌握Java/C++/Python语言中的一种；
3、至少精通以下引擎/架构之一：Spark/Flink/Ray等大数据处理引擎，Hudi/Iceberg/Paimon等数据湖，及Doris/ClickHouse等OLAP引擎，有源码阅读经验及二次开发经验优先；
4、对业务敏感，能快速理解业务背景，具备优秀的技术与业务结合能力，有较好的需求抽象能力和架构能力，能把复杂基建收敛为清晰的API与服务接口；
5、沟通务实，尊重相邻方向的专业判断
加分项：
1、大数据平台生产与管理开发经验；
2、大模型数据抓取、加工，合成应用于预训练、SFT/RLHF的实践经验；
3、良好的AI Coding实践者，有将Harness Engineering应用于实际开发工作经验。
立即投递
