Ivyea Jobs 5948 roles · 69 companies · 1 小时前
星尘智能 · 具身智能

大数据开发工程师(湖仓一体)

深圳 社招 · 全职 产品事业部 工程开发

职位描述

【工作职责】 1.负责具身智能数据基础设施架构建设 2.构建 PB-EB 级多模态数据基础设施,支撑视频、图片、日志、标签等数据统一管理; 3.建设面向端到端模型训练的数据供应链(Data Supply Chain),支撑数据生产、治理、交付及持续迭代; 4.建设元数据、Catalog、权限治理、数据质量、数据血缘等基础能力; 5.建设统一数据服务能力,支撑训练、分析、评测及业务系统的数据访问; 6.建设数据开发、数据分析、数据交付等平台工具,提高数据生产效率; 7.建设流批一体的数据采集、加工及数据生产能力; 8.建设端到端模型训练数据管理能力,提升训练数据质量与迭代效率。 9.能深入理解算法团队需求,将 AI 数据生产流程抽象为平台能力; 10.持续跟踪 AI Data Infrastructure、Lakehouse、Data Engineering 等前沿技术,推动新架构在智能驾驶场景落地。 【任职要求】 1.具备大型分布式系统架构设计及工程落地能力,能主导核心系统设计及关键代码开发; 2.熟悉 AI 数据生产流程,对模型训练数据管理、数据闭环、数据飞轮有深入理解; 3.熟悉至少一门主流工程语言:Python / Java / Go / C++; 4.熟悉大规模数据系统性能优化、高可用架构及稳定性建设; 5.熟悉 Spark、Flink、Trino 等计算引擎; 6.熟悉 Iceberg/Paimon/Hudi 等 Lakehouse 技术; 7.熟悉对象存储、元数据管理、Catalog、数据治理体系。 允许3个月内投递3个职位,请选择适合的职位进行投递 立即投递