Job Description

Ego-Centric视觉感知算法工程师

上海、北京

全职

职位描述

1. 视觉感知 - 面向第一人称操作视角与第三人称交互视角，设计并优化物体检测、实例分割、语义分割算法。 - 针对人手（Hand）及手-物交互（HOI）区域进行像素级高精度分割与关键点检测，支持多指灵巧手（Dexterous Hand）的关节级/指尖级定位需求。 2. 高精度深度估计与 3D/6D 位姿输出 - 研发单目/多目/结构光/ToF 融合深度估计（Depth Estimation）算法，构建从 2D 感知到稠密 3D 点云的精确映射管线。 - 负责物体 6D 位姿（3D Translation + 3D Rotation）估计与人手 3D Mesh/关节位姿重建，确保在操作距离（0.3m–1.5m）内达到1cm 级绝对精度（或等效 <5° 旋转误差）。 - 建立基于几何约束（PnP、BA、多视图三角化）与深度学习（FoundationPose、VGGT、DUSt3R）的混合位姿解算框架，持续优化边缘 case（遮挡、反光、透明物体、弱纹理）下的精度稳定性。 3. VLA 与世界模型训练数据闭环 - 搭建从原始多模态视频流（RGB-D / 鱼眼 / 事件相机）到结构化 3D 感知标签（2D Box/Mask + Depth Map + 3D Keypoints + 6D Pose）的自动化标注与质检管线。 - 与机器人学习团队深度协作，将高精度 3D/6D 感知输出直接嵌入 VLA（Vision-Language-Action）模型与世界模型（World Model）的训练流程，定义并维护感知-策略接口标准（如 Open-X Embodiment 格式）。 - 参与构建大规模机器人示教数据集（Teleoperation / Human Demonstration），确保感知标注精度满足模仿学习（IL）与强化学习（RL）对状态估计的严格要求。 4. 模型轻量化与端侧部署 - 负责感知模型在机器人端侧计算单元（NVIDIA Jetson / 自研 NPU / Intel NUC）的量化、蒸馏与 TensorRT/ONNX 推理优化，满足实时性（≥30 FPS）与低延迟要求，同时保证 1cm 精度不降级。

职位要求

1. 学历背景： 计算机视觉、机器人学、自动化、人工智能等相关专业，硕士及以上学历； 2. 编程能力： 精通 Python/C++，熟练掌握 PyTorch；具备 CUDA、TensorRT、ONNX Runtime 部署经验者优先。 3. 算法基础： - 深入理解 2D/3D 视觉基础网络（ResNet、ViT、DETR、Mask2Former、SAM/SAM2）； - 精通深度估计（MiDaS、Depth Anything、Metric3D）与 3D 视觉核心问题（MVS、SfM、NeRF/3DGS、点云配准 ICP）； - 熟悉 6D 位姿估计（FoundationPose、MegaPose、GDRNPP、UniPose）与 3D Hand Pose（MediaPipe Hands、HaMeR、ACR、MANO 拟合）的实际项目经验； - 具备多传感器（RGB-D、鱼眼、IMU）标定、时间同步与手眼标定（Hand-Eye Calibration）经验。 4. 精度导向的工程能力： 有在真实机器人系统上实现并验证 <<1cm 级 3D 定位精度的项目经历，熟悉误差分析、不确定性量化（Uncertainty Quantification）与精度回归测试流程。 5. 具身智能理解： 了解机器人操作（Manipulation）中的感知需求，熟悉 Ego4D、EPIC-KITCHENS、HOI4D、ARCTIC、Open X-Embodiment 等数据集，有将感知算法部署于真实机械臂/人形机器人并采集训练数据的经验。 6. 软件工程： 具备良好的工程习惯（Git、CI/CD、代码审查、单元测试），能够独立负责模块从算法设计到上线部署的全生命周期。

投递