Job Description

云端数据引擎工程师 - 数据计算框架

上海

全职

职位描述

1. 数据计算框架设计：负责自动驾驶/具身智能云端数据计算框架的设计与开发，构建高吞吐、低延迟的分布式数据计算架构，支撑海量多模态数据（传感器、图像、点云、轨迹等）的批处理与流式计算； 2. 并行计算优化：深入优化数据并行计算框架，提升大规模数据集的分布式处理效率，包括任务拆分、资源调度、计算图优化等核心能力建设； 3. Pipeline工程化：设计并维护端到端云端数据处理Pipeline，打通数据从采集入云、预处理、质检到模型训练的全链路计算流程，降低数据流转时延； 4. 基础设施演进：基于Kubernetes、Docker等云原生技术，构建弹性可扩展的云端计算集群，推进数据计算基础设施的平台化与自动化。

职位要求

1. 硕士及以上学历，计算机、软件工程、人工智能等相关专业，3-5年工作经验； 2. 硬性背景：具有自动驾驶或具身智能（人形机器人等）领域的云端数据平台/数据计算框架研发经验； 3. 精通Python、C++中至少一门语言，熟悉Go者优先；具备扎实的分布式系统设计能力，能独立开发高性能数据计算服务； 4. 深入熟悉 Spark、Flink、Ray等至少一种分布式计算框架；熟悉Kubernetes、Docker等云原生技术栈，有云端大规模数据处理实战经验； 5. 熟悉Airflow、DolphinScheduler、Argo等工作流调度框架，具备复杂数据Pipeline编排能力； 6. 具备优秀的工程素养和问题解决能力，有良好的团队协作意识。 加分项 - 有从零搭建云端数据计算框架或分布式数据处理平台的完整经历； - 熟悉MLOps体系，有模型训练数据Pipeline优化经验； - 在开源计算框架社区有贡献； - 熟悉GPU集群调度与异构计算资源管理。

投递