职位描述1. 参与多模态对话系统原型搭建 协助搭建机器人对话链路,包括用户输入、上下文管理、模型调用、结构化输出、工具调用和最终回复生成。 2. 参与多轮对话状态管理 设计和维护 session state、task state、user feedback、current target、scene phase 等基础状态,支持多轮对话、任务续接和失败恢复。 3. 参与结构化输出设计与校验 支持模型稳定输出结构化字段,例如 speech_act、intent、emotion_style、tool_call、route、confidence、need_clarification 等,并进行 JSON / Schema 校验。 4. 参与 Agent / Tool Use 原型开发 接入简单工具或技能调用,例如查询、导航、介绍、确认、澄清、任务切换等,支持 Demo 场景下的可执行交互。 5. 参与端侧 / 云端路由实验 协助构造 local / cloud 对比样本,支持 LOCAL_FINAL、LOCAL_PROVISIONAL、CLOUD_FINAL、SAFE_FALLBACK 等策略验证。 6. 参与主动交互与澄清逻辑实现 支持主动问候、主动澄清、任务恢复、失败重试等对话能力原型,例如“请问刚才是哪位在问我?”、“我继续刚才的话题”。 7. 参与 Demo 场景对话脚本工程化 将 Demo 场景中的对话流程、交互策略和模型输出格式落成可运行的原型链路。 8. 参与 case 分析与问题定位 分析对话失败原因,包括模型理解错误、状态丢失、工具调用失败、结构化输出错误、路由错误等。任职要求1. 本科及以上在读,计算机、人工智能、软件工程、自动化、机器人、电子信息等相关专业优先。 2. 熟悉 Python,具备基本工程开发能力,能够编写清晰、可维护的脚本和服务逻辑。 3. 了解 LLM / VLM / RAG / Agent / Tool Use / Function Calling 等基本概念。 4. 有多轮对话、RAG、Agent、问答系统、机器人交互、智能座舱、语音助手等项目经验者优先。 5. 理解 JSON / Schema / Pydantic / API 调用等结构化输出与接口约束方式。 6. 对机器人交互、多模态对话、端云协同、主动交互和服务场景智能体有兴趣。 7. 具备较好的问题拆解能力,能将“对话体验问题”拆成状态、模型、工具、路由或数据问题。 加分项 1. 做过 RAG 系统,包括 BM25、向量检索、FAISS、reranker、query rewrite 等。 2. 做过 Agent / Tool Use / Planning / Router / 多轮状态管理项目。 3. 做过 Qwen、InternVL、MiniCPM、LLaVA、GPT-4o、Claude 等模型的应用或微调。 4. 做过结构化输出、JSON 校验、function calling、tool calling、Pydantic / JSON Schema 约束。 5. 做过智能座舱、语音助手、机器人、数字人、客服助手等对话系统。 6. 有 Redis、FastAPI、vLLM、LangChain、LlamaIndex、Gradio、Streamlit 等工具经验。 7. 有多模态模型项目经验,尤其是图像/视频 + 文本的理解与交互任务。