Job Description

【中台】资深大数据开发（AI向）急招

上海

互联网 / 电子 / 网游

技术岗位

职位描述

1.平台与引擎研发： 深度参与全域数据集成平台及底层核心引擎的设计、开发与迭代，利用AI技术优化组件性能与稳定性，构建智能化、高可用的数据中台基座。 2.AI重塑工作流： 将AI深度融入日常研发全流程，在需求分析（如通过AI解析用户故事）、方案设计（AI生成与评审架构图）、代码开发（使用AI Copilot进行应用开发与单元测试）、故障排查（AI辅助日志分析与根因定位）以及文档生成等环节，形成稳定、可复用的“人机协作”研发工作流，显著提升交付效率与质量。 3.智能化需求支持： 参与用户需求调研与技术支持，探索并落地利用AI Agent或大模型来自动化处理常见数据集成问题，提升技术支持响应速度和用户满意度。 4.技术探索与创新： 追求极致，持续跟踪AI在数据工程领域（如Text-to-SQL数据集成、智能数据质量检测）的前沿技术，并推动其在产品中落地，构建业内领先的智能数据中台产品。

职位要求

1. 编程语言： 精通 Java/Scala 语言，深刻理解 JVM、类装载、线程、并发、IO 资源管理及网络编程等核心原理。 2. 大数据引擎： 有 Flink/Spark/Doris/Trino 等主流大数据计算与存储引擎的使用经验，理解其基本原理与适用场景，具备基本的作业调优与问题定位能力。 3. 平台工程能力： 有面向数据开发者的平台或工具建设经验，具备良好的 API/SDK 设计能力与组件抽象能力，熟悉分布式系统设计、缓存、消息队列等机制，具备出色的系统故障排查与性能优化能力。 4. AI 研发实践： 必须具备将 AI 工具（如 GitHub Copilot、Cursor、Claude Code、通义灵码等）系统化融入项目开发的实战经验，能清晰阐述其如何融入个人或团队的工作流并实现稳定产出。了解 Prompt Engineering、RAG、Agent 等大模型应用技术者优先。 5. 行业视野（**以下方向具备其一即可，多个方向者优先**）： - 数据集成与同步：Apache SeaTunnel、Flink CDC、Apache InLong、DataX 等； - 调度与编排：Apache DolphinScheduler、Airflow、Argo Workflows 等； - 统一查询网关与 SQL 引擎：Trino/Presto、Spark SQL、Doris、ClickHouse，以及 SQL 解析、改写、路由、限流等网关能力； - 元数据、血缘与治理：DataHub、Apache Atlas、OpenMetadata、OpenLineage 等； - 数据质量与可观测：Great Expectations、Apache Griffin、Deequ，以及任务诊断、资源与成本治理； - 湖仓与存储格式：Apache Iceberg、Hudi、Paimon 等； - 指标平台与语义层：dbt、Cube，以及指标口径统一、自助分析与 BI 服务化。 6. 加分项： - 对 Flink/Spark/Doris/Trino 中的某一个引擎有深入理解（内核机制、大规模场景下的性能调优实战），或有引擎、开源组件的二次开发经验； - 有开源社区贡献（PR/Committer）或对外技术输出； - 从 0 到 1 建设过面向公司内多团队使用的数据平台产品。

投递