Job Description

多模融合算法工程师

上海

全职

互联网 / 电子 / 网游

职位描述

1. 负责多模目标语音提取、多模态语音分离、唇动识别等语音前端与多模态感知算法 2. 面向多人重叠、强噪声和弱语音输入等复杂语音交互场景，引入唇动视觉信息作为目标说话人先验，提升目标语音提取与分离的鲁棒性 3. 负责机器人多模态感知融合算法的设计、训练和落地，融合声学、视觉及其他感知算法输出的结构化特征 4. 基于声学DOA、视觉目标位置、目标跟随、用户距离、置信度及历史状态等特征，设计轻量级神经网络，实现帧级或短时序的融合判断 5.负责多源数据的时间同步、特征对齐、标签设计、样本构建、数据清洗和难例挖掘。 6.完成模型训练、调参、评测和误差分析，持续优化模型准确率、召回率、时序稳定性、复杂场景鲁棒性和实时性能。 7.与声学、视觉、机器人系统及交互策略团队协作，定义算法输入输出接口，并将融合结果接入机器人交互链路。 8.负责模型部署和推理性能优化，包括模型导出、推理接口开发、延迟控制及端侧适配。

职位要求

1.计算机、人工智能、自动化、电子信息、数学等相关专业，本科及以上学历。 2.具备扎实的机器学习和神经网络基础，理解前向传播、反向传播、常见损失函数、优化器、正则化、过拟合及模型评测方法。 3.熟练使用 PyTorch、TensorFlow 等至少一种深度学习框架，能够独立完成数据预处理、样本构建、网络搭建、模型训练、调参、验证和模型导出。 4.熟悉 MLP、CNN、RNN、LSTM、GRU、TCN、Attention 等常见网络结构，能够针对结构化特征及短时序数据设计轻量级融合模型。 5.具备分类、时序建模、多特征融合或多传感器融合相关项目经验，能够处理不同来源特征之间的时间对齐、特征归一化、置信度差异和数据缺失等问题。 6.熟悉准确率、精确率、召回率、F1、ROC-AUC 等常见评测指标，能够分析类别不均衡、误检、漏检、模型抖动及不同场景下的泛化问题。 7.熟练使用 Python 和 Linux，具备良好的代码能力和算法工程化能力。

投递