Job Description

数据平台开发工程师

上海

全职

职位描述

• 负责数据资产、数据批次、Clip、Dataset等核心实体的后端建模、接口设计与服务开发，支撑多模态数据资产的注册、查询、筛选、预览，以及生命周期、归档状态与使用记录管理；设计元数据、数据对象、状态与关系模型，建设元数据的采集、解析、补全、校验、版本管理与变更记录能力。 - 实现Dataset版本的冻结、发布、回滚、归档与恢复，建设数据血缘、输入输出关系追踪与影响范围分析，保障数据链路可追溯、可复现、可审计；负责后端与数据库设计、性能优化、稳定性治理与可观测性建设，建立单元测试、接口测试、数据一致性校验与故障恢复机制。 - 设计开发多模态原始数据（视频、传感器、轨迹等，以rosbag、MCAP等格式存储）的自动化ETL流水线，基于Argo Workflows编排清洗、自动标注、质检、人工精标、挖掘、交付全链路任务，优化大规模数据IO与流水线的性能及SLA。 - 建设并迭代多模态标注工具链与平台，支持2D、3D框、点云、视频、轨迹、语义等标注类型的标注界面、后端服务与数据存储；设计标注任务调度与质量管理流程，配合标注运营团队，落地自动预标与人工精修双轨，对接预标注结果并搭建标注质量评估与回流机制。 - 建设统一数据门户，支持按标签、向量相似度、Corner Case、元数据等多维度检索与筛选，拉取并导出训练数据集；开发标注、任务管理与质量审核界面，实现数据资产可视化（数据集版本、血缘、质量分布等），对接数据管道做流水线触发与运营操作界面，沉淀组件库与前端工程规范。 - 开发面向多传感器感知数据（图像、激光雷达、IMU、关节位置等）的高性能数据采集软件，建设采集状态实时监控、多传感器时间同步、数据上传管道与源头数据校验能力。

职位要求

• 本科及以上，计算机、大数据、人工智能、自动化等相关专业，具备扎实的工程化能力与代码规范意识。 - 满足下列任一方向即可： - 后端与平台：精通Java、Go、Python、C++中至少一种，熟悉RESTful API、RPC、消息队列、缓存、数据库事务与分布式系统设计；熟悉关系型（MySQL/PostgreSQL）、分析型（ClickHouse/Doris）、检索（Elasticsearch）、缓存（Redis）、文档（MongoDB）等至少两类存储或检索组件并能合理选型。 - 大数据管道：精通Python、Java、Scala中至少一种，熟悉Spark、Flink与工作流编排工具（Argo Workflows、Airflow、Prefect等），具备海量非结构化数据处理与调度经验。 - 标注：3年以上标注平台工具链开发经验，全栈或后端能力扎实，熟悉任务调度、流程编排、权限与多租户管理。 - 前端：3年以上前端开发经验，精通TypeScript、JavaScript，熟悉React或Vue之一，掌握前端工程化与数据可视化（ECharts、G2、D3等）。 - 数据采集软件：精通C++、Python，熟悉高性能数据采集与多传感器时间同步。 - 具备独立设计并落地软件模块的能力，能兼顾交付效率、系统可扩展性与可维护性。 加分项 - 有数据资产管理、元数据管理、数据目录、数据治理、湖仓平台的建设经验，熟悉对象存储、Iceberg、DolphinScheduler、Ray。 - 有多模态（图像、点云、视频）标注业务经验，了解VLM预标注、在线打标与难例挖掘。 - 有多模态数据可视化或标注工具链前端经验。 - 有智驾、具身数据闭环经验，或处理过大规模具身数据集。

投递