ND Paper

大数据开发工程师

ND Paper  •  Onsite  •  4 hours ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

大数据开发工程师
东莞
职能部门类
本科及以上
3-5 年
职位描述
(1)大数据开发
1、负责大数据离线开发,使用Sqoop等组件开发每日离线数据采集任务,使用Hive/Spark SQL编写ETL作业过程,处理各种复杂的业务逻辑,根据业务逻辑配置合理的调度顺序;
2、负责大数据实时开发,使用Flink/Spark实时计算引擎开发实时流作业,读取接口/文本/数据库日志/消息队列中间件等数据源,经过业务逻辑加工处理后写入大数据平台;
3、保障数据产出时效稳定,每天监控数据产出时间,采取调度链路优化,作业优化,SQL优化等手段,提升数据产出效率。
(2)集团数据资产建设
1、根据各个业务领域项目推进过程中沉淀的数据分析体系,维护成可方便检索,查找和应用的数据资产,包含业务口径,出数频率,数据样例等关键业务和技术元数据;
2、根据数据分析师提供的数据质量规则,开发相应的数据校验程序,确保跑数完成后即刻校验,确保高质量的数据资产;
3、生成相应的数据服务接口,可供前端应用,BI工具和业务系统调用。
(3)数据仓库模型设计
1、根据业务领域数据特征以及维度建模的方法,横向划分数据仓库分析主题域,纵向划分层次,达成数据重复利用率高且能快速开发数据需求的目的;
2、定义各个数仓分层,考虑数据写入和查询的性能,提升作业的运行速度,报表查询数据时的高复用性和易扩展性;
3、通过合理的数据模型设计,提高数据的查询性能和分析效率,降低维护成本。
(4)制定规范
1、制定公司数据仓库架构设计原则,输出数据仓库模型设计的基本原则;
2、制定公司数据开发的开发规范。
职位要求
(1)教育程度:
本科毕业3年以上,计算机,信息工程,数学等相关专业毕业;
(2)相关经验:
具有3年以上大数据开发相关经验;
(3)专业能力:
1.具备数据仓库架构和设计能力,熟悉维度建模的方法;
2.良好的沟通和逻辑思维能力,能够对业务需求进行抽象并据此进行架构设计;
3.有过数据资产目录建设和维护的经验;
4.熟悉大数据离线和实时开发使用的组件,Hive、Spark、Flink等,熟悉分布式计算和存储的相关原理及高可用机制原理,并可独立排查故障问题;
5.熟练使用Dataworks,DolphiScheduler,kettle或其它数据开发工具中的一种;
6.熟悉SQL的执行原理,具备优化复杂SQL的能力;
7.掌握shell,python,java等编程语言中的一种;
8.具有很好的沟通表达能力,勤奋好学,具有很好的团队合作意识。
职位信息
部门: 集团IT部
招聘数量: 1
投递
ND Paper

About ND Paper

We are a leading manufacturer of various types of high-quality and sustainable pulp, packaging and paper products.

Our mills in Rumford, Maine and Biron, Wisconsin are integrated paper and pulp facilities, our mill in Fairmont, West Virginia is one of only three in the world that produces air-dried, recycled pulp, and our fourth mill, in Old Town, Maine, produces unbleached softwood kraft and recycled pulp.

Finally, the newest addition to our family, ND Packaging, offers high-quality, sustainable packaging products produced in our state-of-the-art corrugated box plant, in Sturtevant, Wisconsin.

We are proud of our dedicated employees who produce more than 1.2 million short tons of pulp, packaging and paper products annually and together, through innovation and determination, are building the foundations of our 100-year vision.

Industry
Manufacturing & Production
Company Size
201-500 employees
Headquarters
Oak Brook, Illinois
Year Founded
2018
Social Media