Job Description

湖仓效能负责人

上海

全职

职位描述

岗位定位 统筹建设面向大规模机器人多模态数据的湖仓基础设施与数据资产运营平台，核心使命：管好数据、用好数据、算清账。通过湖仓架构解决存储与计算效能，通过“数据货架”实现数据可查可用，通过“数据ERP”打通从采集到结算的业财闭环，支撑千万小时级数据的高效交付与变现。 岗位职责 1. 湖仓一体架构与数据治理 - 设计落地支撑PB级多模态数据（图像、点云、触觉、轨迹）的跨云湖仓架构，基于Iceberg/Delta Lake/Hudi建设近实时数据同步链路，完善一致性校验、异常预警与恢复机制。 - 推进湖仓数据分层、表结构优化与读写链路调优，兼顾查询性能、存储成本与可维护性。建设统一Catalog、元数据管理与数据血缘能力，实现字段级血缘追踪与审计。 2. “数据货架”与多模态检索 - 搭建数据资产目录与货架体系：对海量多源数据（真机遥操、无本体采集、仿真）按场景、任务类型标准化分类编目，实现数据“可见、可查、可取”。 - 建设面向百亿级episode的检索能力，覆盖全文检索、标签检索与向量检索，支持自然语言与语义检索，将数据查找时间从小时级降至秒级。建立数据去重与多样性度量机制。 3. “数据ERP”与业财一体化 - 打造数据全生命周期**“数据ERP”系统**：打通从采购/采集需求发起→生产加工→质量验收→存储上架→订单匹配→交付结算的全链路业务与财务闭环。 - 建设统一指标平台，管理产量、交付周期、成本构成、毛利率等核心经营指标。建立数据成本核算与内部计价模型，为数据产品商业化定价与结算提供系统支撑。 4. 平台稳定性与研发效能 - 建设监控告警、可观测性、容量管理与故障响应体系，保障高并发下系统稳定性，支撑T+2交付目标。 - 推动CI/CD、代码质量门禁、灰度发布等研发效能建设。参与DataAgent等分析工具建设，提升运营分析效率。

职位要求

任职要求 1. 学历与经验 - 本科及以上，计算机、软件工程等相关专业；6年以上大数据平台或数据湖架构经验，2年以上团队管理或技术Lead经验。 - 有具身智能、自动驾驶领域大规模数据处理经验者优先。 2. 技术深度 - 精通Java/Go/Python至少一门；精通数据湖技术（Iceberg/Delta Lake/Hudi），熟悉Spark/Flink/Trino，有大规模ETL调优实战经验。 - 熟悉全文/标签检索（Elasticsearch/Solr）或向量检索（Milvus/LanceDB/pgvector），理解索引设计与召回优化。 - 熟悉OLAP引擎（Doris/StarRocks/ClickHouse），有指标平台或实时分析经验。了解元数据与数据血缘体系。 - 有Kubernetes、可观测性或CI/CD平台建设经验者优先。 3. 业务理解与产品思维 - 深刻理解具身智能数据生产全流程，具备将数据作为可运营资产的思维，理解ERP逻辑与业财一体化建设。 - 能结合数据规模、延迟、成本做技术取舍，具备生产问题定位与性能分析能力。 4. 软素质 - 结果导向，优秀的跨团队沟通能力，能打通业务、技术、财务的流程与数据壁垒。 - 重视代码质量与可维护性，有测试、评审、自动化交付意识。 加分项 - 百亿级/PB级数据生产实践；跨云/混合云数据平台经验；开源贡献或技术文章；DataAgent/Text-to-SQL/RAG落地经验。

投递