Job Description

【27届校招】多模态人机交互算法工程师/研究员

深圳、上海、北京

正式

研发 - 算法

职位描述

1、机器人自然交互算法研发：面向通用人形机器人及真实物理世界场景，研发融合语音、视觉、文本、表情、手势、姿态和动作的多模态交互算法，打造自然、实时、主动且具有人格一致性的机器人交互体验。
2、多模态感知与意图理解：研究复杂环境下的语音识别、声源定位、说话人识别、视觉感知、行为理解、情绪识别及多模态意图融合，实现机器人对“谁在说、对谁说、表达什么、希望机器人做什么”的准确判断。
3、对话决策与行为生成：构建面向真实场景的多轮对话、任务规划、记忆管理与交互决策系统，研究语言、表情、注视、手势及全身动作的协同生成，提升机器人交互的连贯性、拟人性与任务完成能力。
4、复杂场景交互与智能体建设：针对家庭、商业服务、工业等开放场景，解决多人交互、远近场交互、噪声干扰、指代消解、空间关系理解及动态打断等问题，构建具备环境认知和持续交互能力的机器人智能体。
5、系统集成与端侧部署：与大模型、感知、运动控制、硬件及测试团队紧密协作，推动交互算法与机器人软硬件系统深度集成；持续优化端侧推理性能、交互时延、系统稳定性及用户体验。
6、数据闭环与效果评估：建立机器人交互数据采集、标注、训练、评测和线上迭代体系，设计任务成功率、意图识别准确率、响应时延、自然度及用户满意度等评估指标，推动算法持续迭代。
7、技术影响力建设：跟进人机交互、多模态大模型及具身智能领域的最新进展，通过技术创新和系统落地，形成具有行业竞争力的机器人交互解决方案。

职位要求

1、计算机、人工智能、自动化、机器人、电子信息等相关专业，本科及以上学历。
2、熟悉语音、计算机视觉、自然语言处理、多模态学习或人机交互中的一种或多种技术方向。
3、对多模态信息融合、对话系统、意图识别、智能体规划或动作生成具备扎实的理论基础和实践经验。
4、熟练掌握 Python、C++、PyTorch 等开发工具，具备良好的算法开发、工程实现及系统调试能力。
5、具备真实场景算法落地经验，能够针对噪声、时延、算力限制和传感器误差等问题进行系统性优化。
6、具备良好的产品意识、用户体验意识和跨团队协作能力，能够从实际交互效果出发推动算法迭代。
加分项
1、有机器人、人机交互、智能音箱、数字人、车载交互或多模态智能体项目经验。
2、熟悉 ASR、TTS、VAD、声源定位、视觉语言模型、对话大模型或生成式动作模型。
3、熟悉 ROS/ROS 2、机器人传感器及感知—决策—控制系统。
4、有端侧部署、实时音视频处理、模型量化或推理加速经验。
5、在 HRI、多模态学习、语音、视觉或自然语言处理相关领域发表过高水平论文。

投递

About XPENG

XPeng is a leading Chinese Smart EV company that designs, develops, manufactures, and markets Smart EVs that appeal to the large and growing base of technology-savvy middle-class consumers. Its mission is to drive Smart EV transformation with technology and data, shaping the mobility experience of the future. In order to optimize its customers’ mobility experience, XPeng develops in-house its full-stack advanced driver-assistance system technology and in-car intelligent operating system, as well as core vehicle systems including powertrain and the electrical/electronic architecture. XPeng is headquartered in Guangzhou, China. In 2021, the Company established its European headquarters in Amsterdam, along with other dedicated offices in Copenhagen, Munich, Oslo, and Stockholm.The Company’s Smart EVs are mainly manufactured at its plant in Zhaoqing and Guangzhou，Guangdong province.

For more information, please visit https://heyxpeng.com.

Industry

Automotive & Mobility

Company Size

1,001-5,000 employees

Headquarters

Guangzhou, CN

Year Founded

2014

Website

xiaopeng.com

Social Media