职位描述
1、数据体系建设： 负责海量多模态数据（图文、视频、音频、图表等）的清洗、对齐、去重与质量评估，打造多模态数据飞轮。
2、高效流水线搭建： 基于分布式计算构建 PB 级数据自动化处理流水线，利用 VLM/OCR/ASR 等技术实现自动化标注与 Caption 生成。
3、预训练与对齐数据优化： 探索数据合成（Data Synthesis）与进化算法，优化 Pre-train 及 SFT/RLHF 阶段的数据配比与质量。
4、数据治理与合规： 建立版权、隐私及安全性过滤机制，分析数据分布以降低模型幻觉，提升长文本/长视频理解能力。任职要求
1、经验要求： 计算机/AI 相关专业，3年以上大规模 AI 数据工程经验，有多模态大模型数据建设经验者优先。
2、工程与技术： 精通 Python，熟练掌握 Ray / Spark / Dask 等分布式工具，熟悉存储/向量数据库及主流多模态模型生态。
3、数据敏感度： 深入理解多模态数据噪点与配比痛点，掌握 CLIP-Score、MinHash/LSH、数据合成等前沿过滤与清洗方法。
4、软实力： 具备强跨团队协作能力，能配合算法科学家快速迭代模型需求。
