职位描述
【工作职责】
1.负责具身智能数据基础设施架构建设
2.构建 PB-EB 级多模态数据基础设施,支撑视频、图片、日志、标签等数据统一管理;
3.建设面向端到端模型训练的数据供应链(Data Supply Chain),支撑数据生产、治理、交付及持续迭代;
4.建设元数据、Catalog、权限治理、数据质量、数据血缘等基础能力;
5.建设统一数据服务能力,支撑训练、分析、评测及业务系统的数据访问;
6.建设数据开发、数据分析、数据交付等平台工具,提高数据生产效率;
7.建设流批一体的数据采集、加工及数据生产能力;
8.建设端到端模型训练数据管理能力,提升训练数据质量与迭代效率。
9.能深入理解算法团队需求,将 AI 数据生产流程抽象为平台能力;
10.持续跟踪 AI Data Infrastructure、Lakehouse、Data Engineering 等前沿技术,推动新架构在智能驾驶场景落地。
【任职要求】
1.具备大型分布式系统架构设计及工程落地能力,能主导核心系统设计及关键代码开发;
2.熟悉 AI 数据生产流程,对模型训练数据管理、数据闭环、数据飞轮有深入理解;
3.熟悉至少一门主流工程语言:Python / Java / Go / C++;
4.熟悉大规模数据系统性能优化、高可用架构及稳定性建设;
5.熟悉 Spark、Flink、Trino 等计算引擎;
6.熟悉 Iceberg/Paimon/Hudi 等 Lakehouse 技术;
7.熟悉对象存储、元数据管理、Catalog、数据治理体系。
允许3个月内投递3个职位,请选择适合的职位进行投递
立即投递