技术中心 - 数据开发工程师
职位描述
1. 承担通用数据开发工作,负责实时、离线数仓与分析报表开发,基于 StarRocks 完成各类数据查询与分析需求落地;
2. 参与标准化数据流转流程搭建,负责数据血缘、数据质量、链路监控相关功能开发落地;
3. 参与统一指标体系建设,标准化指标口径,沉淀通用数据开发规范;
4. 负责数据计算、查询类任务迭代开发,定位各类数据异常并输出优化方案;
5. 协同团队完善通用数据流程,支撑各类数据分析需求落地;
6. 完成 PB 级全域海量数据整合、计算与存储优化,解决数据倾斜、任务超时、资源浪费等海量数据场景核心问题。
职位要求
1. 本科及以上学历,计算机、大数据相关专业,3 年及以上大数据数据开发经验;
2. 深度参与过 PB 级海量数据处理项目,有中大型企业数据平台搭建优化经验优先;
3. 熟悉大数据完整技术链路,熟练运用 Hive、Spark、Flink、Kafka 大数据组件,深入掌握数据采集、存储、计算、调度、监控全流程原理与实操,掌握离线、实时数据完整开发链路;
4. SQL 基础扎实,具备数据建模与 SQL 优化能力,熟练使用 StarRocks,可独立完成报表、分析查询开发;
5. 熟练 Linux 基础操作、Shell 脚本,可独立完成数据任务开发、逻辑问题排查;
6. 具备数据血缘、数据监控、数据流转体系落地能力,可承接多元化数据开发需求;
7. 工作细致有责任心,具备良好的跨团队协作与通用化方案设计能力。
加分项:
1. 有数据血缘、数据可观测、全链路监控功能开发落地经验;
2. 具备湖仓一体架构下全域原始数据清洗、分层建模实战经验;
3. 有指标标准化体系、全域数据质量治理建设经验。
投递