具身世界模型算法研究员-Xiaomi Robotics
北京
社招
全职
职位 ID:A45177
职位描述
1、全面负责具身世界模型预训练数据研究,围绕互联网图文与视频、第一视角数据、机器人交互轨迹、状态序列、仿真及合成数据等,研究数据源拓展、采集生成、清洗去重、质量评估和多模态对齐策略,建立可持续迭代的数据体系。 2、研究数据规模、质量、多样性、时空覆盖与模型能力之间的关系,制定语言、视觉、视频、状态、动作等模态及不同任务、场景的数据配比、采样和课程策略,持续提升预训练数据效率与信息密度。 3、探索理解、生成与动作统一的具身世界模型架构和学习范式,研究视觉、语言、状态、动作及时空交互信息的统一表征、Token 化、模态接口与联合训练目标,推动模型在预训练阶段实现跨模态对齐与联合建模。 4、围绕 In-context Learning、Zero-shot/Few-shot Generalization、跨任务迁移、跨场景泛化和长时程推理等目标,设计预训练任务、数据组织方式及评测方法,研究通用具身能力的形成机制并持续迭代。 5、与 Infra 团队协同迭代模型训练与推理框架,从算法和模型侧优化大规模训练的稳定性、吞吐、显存及并行效率,提升推理延迟、生成质量和资源利用率,支持研究方案的快速验证与规模化应用。 6、构建覆盖离线数据、仿真环境和真实机器人任务的评测与诊断体系,开展系统实验、消融分析和 Scaling 研究,跟踪具身智能、多模态基础模型、世界模型与生成式建模前沿,推动论文、专利、开源项目及核心技术成果产出。
职位要求
1、硕士及以上学历,计算机、人工智能、机器人、自动化、数学、统计等相关专业,具备扎实的机器学习、深度学习、概率建模与优化基础。 2、在多模态大模型、视频生成、世界模型、具身智能或相关方向具有深入研究经验,理解 Transformer、自回归建模、Diffusion、VAE/VQ、MoE 等方法及其适用场景。 3、具备较强的预训练数据研究与实验分析能力,理解数据源、数据质量、数据分布和数据配比对模型能力的影响;有大规模多模态数据建设、质量评估、数据筛选、合成数据或数据效率研究经验者优先。 4、熟悉跨模态对齐、统一表征、离散/连续 Token 化、时空建模、动作生成、物理世界预测等关键问题,对 In-context Learning 和 Zero-shot Generalization 有研究或实践经验者优先。 5、熟练使用 Python、PyTorch 等工具,具备从问题定义、模型设计、训练调优到评测分析的完整研发能力;有大规模预训练、分布式训练、推理加速或训练框架协同优化经验者优先。 6、具备较强的独立科研、问题分析和工程落地能力,能够提出可验证的研究假设,快速完成实验并定位瓶颈;有真实机器人、仿真平台或机器人动作数据经验者优先。 7、在具身智能、多模态学习、世界模型、计算机视觉或生成式 AI 等方向的顶会顶刊(如 RSS、CoRL、ICRA、CVPR、ICCV、NeurIPS、ICLR、ICML 等)发表论文,或拥有代表性开源项目、模型及系统成果者优先。
投递

Xiaomi Corporation was founded in April 2010 and listed on the Main Board of the Hong Kong Stock Exchange on July 9, 2018 (1810.HK). Xiaomi is a consumer electronics and smart manufacturing company with smartphones and smart hardware connected by an IoT platform at its core.
Embracing our vision of “Make friends with users and be the coolest company in the users’ hearts”, Xiaomi continuously pursues innovations, high-quality user experience and operational efficiency. The company relentlessly builds amazing products with honest prices to let everyone in the world enjoy a better life through innovative technology.
Xiaomi is one of the world's leading smartphone companies. The company has also established the world’s leading consumer AIoT (AI+IoT) platform,reached 558 million smart devices connected to its platform (excluding smartphones,laptops and tablets) as of September 30 2022. Xiaomi products are present in more than 100 countries and regions around the world. In August 2022, Xiaomi was included in the Fortune Global 500 list for the fourth year in a row, ranking 266th. The company is the fastest-rising Chinese technology conglomerate during the four-year period.
Xiaomi is a constituent of the Hang Seng Index, Hang Seng China Enterprises Index, Hang Seng TECH Index and Hang Seng China 50 Index.