职位描述
【岗位职责】
1. 执行大规模训练数据的清洗与预处理工作；
2. 开发和维护数据过滤规则体系，设计基于规则的过滤器，开发启发式算法，检测数据异常和质量问题；
3. 指导数据标注团队，提供明确的指导和培训；
4. 实施数据正确性校验与质量保证，建立数据质量指标和评估机制。任职要求
【任职要求】
1. 统招硕士及以上学历，计算机科学、数据科学或相关专业；
2. 一年以上数据处理、数据清洗或数据工程相关经验；
3. 精通Python和数据处理库(pandas，numpy等)，熟悉大规模数据处理框架(Spark, Dask等)，具备设计和实现数据质量控制流程的经验；
4. 具备良好的问题解决能力和注重细节的工作态度。
【加分项】
1. 大语言模型或AI系统数据准备的实际经验
2. 具备数据可视化和探索性数据分析能力
3. 熟悉CommonCrawl、C4等大规模数据集的处理经验
4. 参与过开源大模型数据处理项目
5. 有多模态数据处理经验
