顶尖应届-语音理解大模型算法工程师-大模型
北京
校招
正式
软件研发类
职位描述
1、研发语音理解大模型核心技术，在模型结构、对齐策略、指令微调、偏好对齐、多阶段渐进式学习训练策略、推理能力增强（关系推理、因果推理、常识推理）等方面做出创新突破，达到业内一流。 2、优化语音拾音大模型的上下文感知能力，通过送入交互历史信息提升语音识别准确率；优化语音识别大模型的热词感知能力，通过送入相关热词提升语音识别准确率；优化语音多模态理解大模型的SpeechEncoder，提升语音理解大模型的语音理解能力和声音理解能力，包括语音内容、情感、性别、声音事件、音乐风格等；在用户跟智能体对话的过程中，检测用户的表达完整性，从而加快系统响应速度且不带来更多的误截断；在语音对话模型中，检测用户交互的对象，从而提升打断的有效性和系统交互的响应速度。 3、优化语音理解大模型的效果，提升语音、声音、环境信息的感知和理解能力，提升语音理解大模型的时间戳感知能力，提升语音理解大模型对特定异响声音的鉴别能力。 4、 优化空间音频理解的效果，提升多通道端到端语音理解能力，提升鸡尾酒会场景的语音识别和语音理解能力，提升说话人日志的效果。 5. 优化语音安全的能力，提升语音理解大模型对说话人感知的能力，提升语音理解大模型对合成音频的鉴别能力。 6. 提升端到端语音理解能力，建立比较广泛的业界影响力。 7. 推动语音理解算法落地，在小米核心业务场景提升核心产品竞争力和用户智能体验，包括手机（OS/小爱）、汽车、生态链等。
职位要求
1、博士学历，计算机、人工智能、机器学习、电子信息、自动化、数学等相关专业，多模态大模型、语音理解等相关方向； 2、具备丰富的多模态大模型、或语音理解经验，对多模态大模型、语音理解、全模态理解等有深入理解； 3、具备优秀的编程能力，熟练掌握PyTorch等至少一门深度学习框架，熟练掌握Python或C++等至少一门编程语言； 4、在Interspeech/ICASSP/AAAI/NeurIPS / ICLR / ICML等顶会发表过多模态大模型或深度强化学习方向高水平论文，或以主力身份参加相关领域主流算法竞赛且取得优秀成绩者，优先； 5、在ACM/ICPC、CodeForces、IOI/NOI/NOIP/CSP等编程算法竞赛中获得优秀成绩者，优先； 6、具备良好的团队合作精神；
职位信息
课题名称及内容：
【课题名称】 语音理解大模型研究与应用 【课题内容】 1、研究语音理解大模型的核心技术，产出突破性成果，在小米核心业务场景落地；输入文本、语音等模态；探索全模态信息感知能力；探索全模态混合推理思维链；探索全模态思维强化 2、研究语音理解大模型的关键技术，包括有效利用场景、上下文、个性化信息更好的进行音频内容的转写以及副语言信息的提取，用户表述完整性检测等，提升流式交互系统的响应速度和理解准确性等。 3、研究语音理解大模型的前沿技术，包括多通道端到端空间音频理解，语音安全和鉴伪等，长音频的时间感知和密集内容理解能力等。
投递
Xiaomi Corporation was founded in April 2010 and listed on the Main Board of the Hong Kong Stock Exchange on July 9, 2018 (1810.HK). Xiaomi is a consumer electronics and smart manufacturing company with smartphones and smart hardware connected by an IoT platform at its core.
Embracing our vision of “Make friends with users and be the coolest company in the users’ hearts”, Xiaomi continuously pursues innovations, high-quality user experience and operational efficiency. The company relentlessly builds amazing products with honest prices to let everyone in the world enjoy a better life through innovative technology.
Xiaomi is one of the world's leading smartphone companies. The company has also established the world’s leading consumer AIoT (AI+IoT) platform,reached 558 million smart devices connected to its platform (excluding smartphones,laptops and tablets) as of September 30 2022. Xiaomi products are present in more than 100 countries and regions around the world. In August 2022, Xiaomi was included in the Fortune Global 500 list for the fourth year in a row, ranking 266th. The company is the fastest-rising Chinese technology conglomerate during the four-year period.
Xiaomi is a constituent of the Hang Seng Index, Hang Seng China Enterprises Index, Hang Seng TECH Index and Hang Seng China 50 Index.
