职位描述1. 基于 Spark、Ray 搭建大模型数据处理基建，负责集群管理、任务调度、资源隔离和性能分析，并迭代面向非结构化与多模态数据的处理能力。 2. 基于 Paimon、Iceberg、Lance 建设数据湖与 Catalog Service，负责结构化、非结构化与多模态数据的存储与管理。 3. 面向数据生产与算法团队，建设计算与数据湖链路的监控、日志、追踪与告警，联合 K8s、SRE 定位性能、稳定性与容量问题，并优化资源利用率与成本。任职要求任职要求 1. 编程基础扎实，熟练使用 Python、Java 或 Scala 中至少一种，能够开发平台组件、数据引擎和运维工具。 2. 熟悉 Linux、容器和分布式系统，理解计算、存储、调度、资源隔离和故障恢复的基本原理。 3. 有大规模数据处理或云原生平台经验，能够开发、部署、调试和维护长时间运行的生产任务。 4. 问题定位能力强，能结合指标、日志、链路和运行现场分析性能、稳定性与容量问题。 5. 具备工程权衡意识，能在可靠性、性能、成本、可维护性之间做清晰取舍；能与平台、算法和基础设施团队协作推进跨系统问题。 6. 有 Vibe Coding 经验，能借助 AI 提升交付效率、完成更大范围的工作。 7. 在以下方向中至少有一个深入实践，其余方向具备相应基础： - Spark 或 Ray 的平台建设、任务调度或性能分析； - 数据湖引擎（Paimon、Iceberg、Lance）或对象存储上的大规模数据组织与元数据服务。 加分项 - 实际搭建过大模型数据管线，并有数据交付给算法团队的经验： - 文本数据：多轮对话、推理、指令数据。 - Agent 数据：function calling、tool use、工具调用与执行轨迹。 - 生产手段：badcase 挖掘、LLM-as-Judge、自动化标注、数据合成 pipeline、轨迹 trace 分析。 - 多模态数据：视频解码、抽帧、均匀采样、重采样到固定帧数、视觉编码器、文本 token 联合输入、Caption 生成。 - 做过倒排检索引擎、向量检索引擎或混合检索。 - 参与过数据基础设施从原型到规模化生产的过程，有容量规划或成本优化经验。
