职位描述
多模态 Embedding 与数据多样性
岗位介绍
我们正在建设面向具身智能的大规模第一视角视频数据集，覆盖真实环境中的人类活动、操作任务与手物交互。
我们希望你通过多模态表征学习、数据挖掘与检索技术，建立对数据分布的系统性理解，识别重复与稀缺内容，量化新增数据的价值，并将这些能力落地到数据筛选、入库和采集策略中。
岗位职责
1. 多模态表征与语义检索
负责图像、视频及文本 embedding 的选型、评测与优化，构建面向第一视角视频的片段级、任务级表征，支持以文搜视频、相似片段检索、行为聚类与语义去重。
2. 数据多样性与覆盖度建模
建立任务、动作、物体、交互方式和环境等维度的数据分布分析方法，区分任务与操作过程的差异、视觉外观的变化，量化数据覆盖度、冗余度、长尾分布和新增覆盖收益。
3. 数据选择与增量入库
研发近重复检测、增量聚类、代表性采样和长尾样本挖掘算法，在数据质量、覆盖范围与处理成本之间建立可量化的筛选策略，支持持续新增数据的评分、筛选与入库。
4. 数据库与向量检索建设
设计视频、片段、语义标签、embedding 与采集元数据的关联结构，建设结构化条件与向量相似度结合的检索能力，支持批量特征计算、增量索引、数据版本管理和筛选结果追溯。
5. 评测与采集反馈
建立检索、去重、聚类和数据选择的评测集与指标，通过人工抽检、分布分析及下游实验验证算法效果；识别覆盖缺口和采集饱和趋势，为下一阶段采集任务与数据配比提供依据。任职要求
任职要求
1. 计算机、人工智能、数学、统计学等相关专业背景，熟练使用 Python、SQL 和 PyTorch，具备良好的算法实现与工程能力。
2. 具备 embedding 相关实践经验。
熟悉视觉或多模态表征、对比学习、相似度度量与检索评测；有模型选型、微调或领域适配经验，能够针对具体检索和聚类任务评估 embedding 的有效性。
3. 具备数据挖掘与数据选择能力。
熟悉聚类、近重复检测、密度估计、异常检测、分布均衡、代表性采样中的若干方法；能够分析数据覆盖、样本冗余与长尾问题，并设计实验验证筛选策略。
4. 具备数据库及向量索引使用经验。
熟悉 PostgreSQL、ClickHouse 等至少一种数据库，掌握数据建模、索引和查询优化；使用过 Milvus、Qdrant、pgvector 等向量检索方案，或 FAISS 等近邻检索库，理解召回率、延迟、存储与更新成本的权衡。
5. 具备真实数据处理经验。
能够搭建从数据清洗、模型推理、特征存储到检索分析的处理流程，处理批量计算、失败重试、增量更新和结果复现等工程问题。
6. 有多模态检索、搜索推荐、内容理解、数据去重、聚类分析或训练数据筛选相关项目经验，能够清楚说明问题定义、技术选择、评测方法与实际效果。
加分项
- 有 Egocentric 视频、动作识别、时序分割、手物交互或具身智能数据经验。
- 有百万级及以上样本的 embedding 计算、向量检索或数据挖掘经验。
- 有主动学习、难例挖掘、数据价值评估、数据配比优化或数据子集选择经验。
- 有利用 VLM 进行视频理解、结构化标注和质量评估的落地经验。
- 有搜索推荐中的内容表征、语义召回、内容去重、多样性优化经验，欢迎将相关方法应用到第一视角视频数据。
你将解决的核心问题
在持续增长的第一视角视频中，找出值得保留的有效差异，判断哪些任务已经充分覆盖、哪些交互仍然稀缺，让每一轮新增采集带来可衡量的数据价值。
