运动控制算法研究员-面向人机交互的多模态动作生成(优核U-Core计划)
职位描述
模块方向:机器人人运动控制方向
课题方向:面向人机交互的多模态动作生成
方向内容:现有动作生成模型大多仅支持单一模态输入(如文本),难以满足自然人机交互需求。真正的机器人伴侣需要将视觉线索、语音和本体感觉融合为连贯的实时动作,同时解决扩散模型在真机上实时部署的延迟问题
岗位职责
1. 构建两阶段扩散模型(根节点去噪器+体态去噪器),支持文本/语音/视觉/关键点多模态输入;2. 设计多模态输入加性融合方案,各模态经专用MLP处理后融合为逐帧Token流;3. 将离线扩散模型蒸馏为轻量级自回归策略,通过RLHF进行个性化精调;4. 完成面向人形机器人平台的动作重定向与真机部署任职要求
专业方向:机器人学、计算机视觉、AI/ML。硬技能:精通扩散模型架构(DiT/UNet)与采样加速方法(DDIM/ Consistency Distillation);熟悉人体运动表示(SMPL/SMPL-X)及重定向算法;有PyTorch分布式训练与TensorRT推理优化经验。软素质:对HRI(人机交互)有产品级敏感度