Job Description

资深大数据工程师 - 数据治理与加速

上海

全职

职位描述

1. 混合云数据架构设计：负责多云（公有云）与自建IDC环境下EB级别数据的统一架构设计，构建跨云跨数据中心的数据管理底座，实现异构存储（对象存储、块存储、文件存储）的统一纳管与调度； 2. 数据治理体系建设：搭建覆盖全链路的数据治理框架，包括元数据管理、数据血缘追踪、数据目录服务、生命周期管理、成本治理等，保障EB级数据的可视、可控、可管； 3. 统一数据访问层：设计并实现统一数据访问网关，屏蔽底层多云与IDC存储差异，提供标准化的数据访问接口（S3兼容协议/自定义协议），实现应用层对数据的无感知跨云访问； 4. 访问加速优化：构建智能数据加速体系，包括热点数据智能缓存、跨云传输加速、就近访问调度、数据预取与预热等机制，显著降低跨云/跨IDC数据访问延迟，提升模型训练与业务数据消费效率； 5. 数据流动与同步：负责设计云际数据流转方案，保障跨云/IDC之间的数据高效迁移、实时同步与一致性校验，支撑业务场景下的数据弹性调度与容灾切换。

职位要求

1. 硕士及以上学历，计算机、软件工程、分布式系统等相关专业，3-5年工作经验； 2. 硬性背景：具有多云（公有云+私有云/自建IDC）环境下的大规模数据基础设施研发或数据治理经验，熟悉混合云存储架构； 3. 精通Python、C++、Go中至少两门语言，具备优秀的系统级编程能力，能独立开发高性能数据服务； 4. 深入熟悉对象存储体系：精通S3协议及MinIO、Ceph等开源对象存储内核原理，有大规模生产环境部署与调优经验，具备EB级数据管理实践； 5. 数据治理经验：具备数据目录（Data Catalog）、元数据管理、数据血缘、生命周期管理、存储成本治理等至少两个方向的实战经验； 6. 加速技术栈：具备Alluxio、JuiceFS、CDN、全球加速网络、智能缓存层等至少一种数据加速方案的落地经验，熟悉跨地域/跨云数据传输优化技术。 加分项 - 有EB级规模混合云存储系统的架构设计或核心开发经历； - 熟悉自动驾驶/具身智能场景的数据存储特征（ROS Bag、大规模点云/图像数据集、LeRobot格式等）； - 有跨云数据同步工具（Rclone、Velero等）或自研数据流转平台的开发经验； - 在Ceph、MinIO、Alluxio、JuiceFS等开源存储社区有代码贡献； - 熟悉数据合规与安全管理，具备数据分级分类、敏感数据识别与脱敏经验。

投递