职位描述
1、跟进并复现 EgoScale、π0.7、Cosmos Policy 等前沿 VLA、World-Action Model 框架,探索和设计最新的 Policy 架构,解决灵巧手操作、双臂操作和手-物体交互任务。
2、在 MuJoCo、Isaac Sim 等仿真环境中搭建灵巧手和双臂操作任务,完成数据回放、策略训练、仿真评估和 sim-to-real 验证。
3、基于 SAM3D、SLAM、pose estimation 等方法,搭建从人类视频到机器人动作数据的处理 pipeline;或基于 UMI、真机遥操作等方式,搭建高质量机器人操作数据采集 pipeline。
4、面向灵巧手和双臂真机部署,参与端到端低延迟控制链路的设计与优化,打通从视觉感知、状态估计、策略推理、动作后处理到机器人底层控制接口的完整闭环;分析并优化通信延迟、推理延迟、控制频率不匹配、动作插值、滤波、时钟同步和执行抖动等问题,提升策略在真机上的稳定性、响应速度和轨迹跟踪精度。任职要求
1、本科及以上学历,计算机、人工智能、机器人、自动化、控制、机械电子等相关专业。
2、熟悉机器人运动学和控制基础,理解 FK、IK、Jacobian 等概念;有真实机器人经验,理解仿真与真实系统之间的差异;能够设计稳定、可执行的 retarget 方案和遥操作方案;理解策略推理频率、控制频率、通信延迟、传感器延迟、位置 / 速度 / 力矩接口等因素对操作策略稳定性的影响。
3、熟悉模仿学习、Diffusion Policy、强化学习等方法,了解 PPO、SAC 等算法,能够根据任务需求选择合适的训练范式。
4、熟悉 Isaac Sim、MuJoCo、Isaac Gym、Genesis、Brax 等至少一种机器人仿真平台,能够独立搭建任务环境、调试机器人模型并完成策略训练。
加分项:
1、有灵巧手、双臂操作、手-物体交互任务经验;有 UMI、触觉传感器等硬件制作或使用经验;有低延迟机器人控制链路、实时控制系统、EtherCAT / CAN / ROS2 control / PREEMPT_RT 或高频遥操作系统等相关经验。
2、了解 VLA、world model、World-Action Model、action-conditioned video model、model-based RL 等方向。
3、在 ICLR、ICML、NeurIPS、RSS、ICRA、CoRL、CVPR、SIGGRAPH、T-RO、RA-L 等顶级会议或期刊发表过机器人学习、强化学习、计算机视觉、具身智能或世界模型相关论文。