Job Description

【集团】大数据开发-平台开发上海全职职位描述
1.参与自研类DataWorks平台的架构设计和研发落地，确保平台的高可用和扩展性等。
2.负责核心功能模块的开发和维护，包括统一数据集成（实时、离线）、数据研发（实时、离线）、统一作业调度（调度引擎、调度编排）、数据分析（adhoc、batch、混合引擎）、数据地图（元数据采集、全链路血缘）、数据治理（数据质量评测体系，质量指标、监控告警）等。
职位要求
1.本科及以上学历，计算机科学、软件工程或相关专业。
2.互联网3-5年以上大数据平台开发经验（熟悉DataWorks平台或类似数据平台，了解数据开发用户视角，如IDE体验、调试效率）。
3.熟练掌握Java、Python、SQL等编程语言。
4.熟练掌握SpringCloud分布式微服务技术栈，包括：SpringBoot、Redis、MQ/Kafka、MySQL/PostgreSQL等。
5.熟练掌握Hadoop大数据技术栈特性和应用，包括：HDFS/MR/Yarn、Hive、HBase、Spark、Flink、Presto/ClickHouse/Doris等。
6.熟悉Ad-Hoc（即席）、Batch（批）、Stream（流）、数据湖等大数据开发框架，了解技术原理和应用场景，具备开发实践经验。
7.熟悉DolphinScheduler/Airflow等大数据调度框架，了解技术原理和应用场景，具备开发实践经验。
加分项：
-有dify 豆包等大模型应用、结合垂直领域赋能业务。
-有Jupyter、Python数据分析工具集成（如Pandas、NumPy、Scikit-learn）/机器学习/数据治理体系/数据分析知识、实际项目经验者优先。 投递