职位描述
我们正在面向足式人形机器人的全身具身基座模型,建设覆盖采集、处理、评估及训练应用的全生命周期数据平台。我们重点研发不依赖机器人本体的数据采集方案,通过第一/第三视角视觉、动作捕捉、可穿戴设备等方式,同步获取人体全身位姿、手部位姿、视觉与任务语义信息,并将其转化为机器人可学习、可执行的高质量全身动作数据。
以下四个方向,精通其一即可投递,具备跨方向能力者优先:
方向一 · 无本体采集与动作重建
设计规模化、低成本的无本体数据采集方案,融合RGB/RGB-D相机、IMU、动捕及可穿戴设备等传感器;研发人体全身与手部三维位姿估计、目标跟踪及动作重建算法,解决遮挡、运动模糊、视角变化及手物交互等问题;建立视觉、人体动作与任务信息的时空同步和标定体系。
方向二 · 数据标注 能做 ego hand / body pose、物体 2D/3D bbox/pose、retargeting、subtask / CoT(思维链)标注等具身标注任务,并能向动作-结果因果、交互类型等高阶语义标注延伸;具备云端预标注模型闭环经验,能通过 issue 数据反哺模型、逐步提升自动标注精度,形成「人修一批、模型进一步、自动化覆盖更多」的正循环。
方向三 · 多模态数据Pipeline
设计并建设无本体数据Pipeline,将设备管理、数据采集、时空同步、动作解析、标注、重定向、质量检测及训练消费编排为稳定高效的生产链路;建立统一数据格式,组织同步视觉、语言、全身位姿、手部位姿、物体状态及机器人动作,持续优化处理吞吐、数据折损率与单位有效数据成本。
方向四 · 数据挖掘与价值评估
建立覆盖信号质量、动作质量、机器人可执行性及训练价值的评估体系,衡量图像质量、时间同步、位姿精度、轨迹连续性、动作多样性与任务有效性;基于多模态Embedding开展数据检索、去重、长尾挖掘与分布分析,并将质量与价值评分转化为数据筛选、训练配比和定向补采策略。任职要求
1.硕士及以上学历优先,计算机、人工智能、机器人学、自动化或相关专业;
2.熟练使用Python、C++及PyTorch等工具,具备良好的算法实现与工程开发能力;
3.熟悉人体/手部姿态估计、三维视觉、动作捕捉、动作识别或人体参数化模型中的一种或多种;
4.具备机器人运动学基础,理解FK/IK、坐标变换、关节约束、碰撞检测、接触约束及轨迹优化;
5.熟悉多传感器标定与同步,了解相机、RGB-D、IMU、动捕或可穿戴设备的数据特性;
6.具有大规模非结构化数据的采集、清洗、标注、挖掘、评测或Pipeline建设经验,具备较强的Bad Case归因和算法迭代能力。
加分项,满足以下任意一项即有竞争力:
1.熟悉SMPL/SMPL-X、MANO等人体参数化模型,有人体全身/手部动作重建、动作捕捉或Retargeting相关经验;
2.有第一视角视频、可穿戴动捕、光学/惯性动捕、数据手套或多相机系统开发经验;
3.有足式人形机器人、全身控制、模仿学习、强化学习或全身VLA相关经验;
4.熟悉LeRobot、Open X-Embodiment等具身数据格式,或有真机遥操作、UMI、仿真及合成数据经验;
5.具备模型训练经验,能够从训练与真机结果反推数据问题并推动数据闭环;
6.在RSS、CoRL、ICRA、IROS、CVPR、NeurIPS等相关会议或期刊以主要作者发表过论文。
立即投递