职位描述
岗位介绍
面向具身智能的人类第一视角（Egocentric）操作视频，研发基于视觉语言模型（VLM）、多模态大模型（MLLM）及视频表征学习的语义标注与数据多样性评估算法，支持大规模操作数据的理解、标注、检索与筛选。
岗位职责
1. VLM / MLLM 视频语义理解
研究视觉语言模型与视频大模型（Video-LLM）在第一视角操作视频中的应用，识别任务、动作、交互对象、工具及物体状态变化，生成细粒度描述和结构化语义标注。
2. 时序定位与层级语义标注
研发时序动作分割（Temporal Action Segmentation）、动作定位及密集视频描述（Dense Video Captioning）方法，建立任务、子任务与原子动作的层级结构，实现语义与视频时间区间的准确对齐。
3. 视频与跨模态表征学习
探索视频 Embedding、自监督学习、对比学习及视频文本对齐，构建面向操作对象与动作过程的特征表征，支持细粒度相似度比较、语义检索、聚类和语义去重。
4. 数据多样性评估与数据筛选
构建任务、场景、物体及操作方式等维度的覆盖与多样性指标；重点评估同一任务或子任务下的物体实例、属性及操作差异，识别重复样本与覆盖缺口，支持代表性样本选择和采集策略优化。
5. 模型适配、评测与工程落地
开展提示词与推理流程设计、指令微调、领域适配及模型蒸馏，提升语义标注的事实准确性、覆盖度与时序精度；建设评测集，优化大规模视频处理的效率与成本。任职要求
任职要求
计算机、人工智能、自动化、数学等相关专业，具备扎实的机器学习、深度学习及计算机视觉基础。
熟练使用 Python、PyTorch，能够完成数据处理、模型训练、评估与实验分析。
在 VLM / MLLM、多模态学习、视频理解或表征学习中至少一个方向具备项目经验；科研、实习及课程项目均可。
理解 Transformer、视觉编码器、跨模态对齐或对比学习的基本原理，能够阅读英文论文、复现方法并分析模型误差。
具备良好的学习能力、动手能力和协作意识，对第一视角视觉及具身智能数据有持续兴趣。
加分项
有 VLM / Video-LLM 指令微调（SFT）、参数高效微调（LoRA）或模型蒸馏经验。
有时序动作分割、视频描述、时序语义定位（Temporal Grounding）或视频文本检索经验。
有手物交互、被操作物体识别、物体状态变化或对象中心表征学习经验。
有数据筛选（Data Curation）、语义去重、主动学习或多样性评估经验。
