Job Description

全模态感知算法工程师

上海

全职

职位描述

岗位职责 1. 负责 HandPose 手姿态、BodyPose 人体姿态估计算法的方案选型、模型设计、训练调优，基于 MANO、SMPL、MediaPipe 等手 / 人体模型完成手势重建、骨骼关键点输出，解决遮挡、快速运动、暗光环境下姿态识别鲁棒性问题。 2. 完成深度学习模型从训练框架到高通 QS8750 平台的端侧落地：模型转换、算子对齐、量化压缩、算子裁剪，基于高通 Hexagon DSP 完成推理调度、算子优化，充分释放 DSP 算力，降低推理时延与功耗。 3. 对接高通工具链（QNN、Hexagon SDK），定位 DSP 推理性能瓶颈，完成算子适配、内存优化、多线程调度，解决精度损失、算子不支持、推理超时、内存溢出等端侧工程问题；打通 ISP 图像输入‑DSP 推理‑姿态结果输出完整 pipeline。 4. 和 SLAM/VIO 模块联调，实现姿态感知与空间定位数据融合，输出稳定的手部、人体三维姿态结果，支撑设备交互业务；完成多目相机输入下的无标记 markerless 动捕效果调优。 5. 负责感知数据集体系建设：多相机数据采集、IMU‑相机传感器标定与时间同步、真值生成、自动标注流水线搭建，迭代数据集持续提升手势、人体姿态算法在真实场景的泛化能力。 6. 算法效果与性能指标闭环：对齐业务指标（关键点精度、3D 重建误差、端侧时延、功耗、内存占用），输出测试报告，持续迭代优化；输出算法文档、部署文档、接口定义，支撑上层业务调用。 7. 调研前沿姿态重建、多模态感知方案，探索大模型在手人体姿态方向的可行性，跟进开源与学术界最新进展，输出技术选型评估。

职位要求

任职要求： 1. 硕士及以上学历，计算机、人工智能、模式识别、机器人等相关专业。 2. 扎实深度学习基础，熟练使用PyTorch/TensorFlow，熟悉姿态估计经典方案，了解MANO、MediaPipe、SMPL等手/人体模型优先。 3. 熟悉C++/Python，具备模型部署、量化压缩、推理加速工程落地经验；熟悉TensorRT、ONNX Runtime工具链，有NPU、DSP部署经验优先，了解端侧推理框架。 4. 具备手势追踪或者人体姿态估计实际项目经验，有markerless无标记动捕、多目立体视觉开发经验优先。 5. 有数据集完整建设经验：包含多相机采集、传感器标定同步、真值生成、自动标注流水线开发经验。 加分项 1. CVPR/ICCV/ECCV/IROS等顶会论文、开源项目贡献。 2. 有VR/AR/XR产品实际落地经验。 3. 具备大模型在姿态重建、视觉感知方向探索实践。

投递