Job Description

AI数据平台工程师深圳全职互联网 / 电子 / 网游职位描述1、负责用户context信息采集体系的搭建、优化与落地，设计多源数据采集方案（涵盖用户行为、设备信息、交互轨迹等），对接前后端业务模块，制定采集标准，保障采集数据的完整性、准确性和实时性。
2、主导数据平台全流程搭建与运维，负责音频、视频等全天候数据的接收、解析、转码、存储及流转管理，搭建高可用、高可靠的数据链路，处理海量音视频及3、结构化数据，保障平台7×24小时稳定运行，支撑业务正常运转及数据供给。
优化数据处理管道，针对音视频数据体积大、处理效率低等特性，制定优化方案，提升数据处理时效与存储利用率，输出标准化、高质量的数据，为大模型训练提供合规、可用的训练语料（音视频、用户行为相关数据等）。
4、负责数据平台监控体系搭建与维护，配置关键指标（数据采集量、处理延迟、存储占用、链路稳定性）监控告警，快速响应并排查数据丢失、传输异常、系统卡顿等故障，保障数据供给不中断。
5、协同业务团队、算法团队，梳理业务数据需求及大模型训练数据需求，优化数据筛选、脱敏、标注流程，输出贴合需求的数据解决方案，支撑业务决策与大模型迭代训练。
6、负责数据平台架构迭代优化，引入合适的技术框架，提升平台扩展性、可维护性，适配业务增长及大模型训练的数据量级提升需求，保障数据安全合规。职位要求1、学历要求：本科及以上学历，计算机、大数据、软件工程等相关专业，1-3年及以上数据平台相关工作经验。
2、技术能力：精通Flume、Logstash、Kafka等数据采集工具，熟练掌握Hadoop、Spark、Flink等大数据框架，具备音视频数据处理、用户context信息采集相关经验。
3、运维能力：熟悉Docker、K8s容器化部署，具备全天候数据平台运维、性能优化及故障排查能力，能快速响应线上问题，保障平台高可用。
4、存储与安全：熟悉HDFS、HBase、MySQL、MongoDB等存储方案，掌握数据脱敏、备份与恢复方法，了解数据安全合规相关要求，能保障数据安全。
语言与工具：熟练使用Java、Python、Scala其中一种及以上编程语言，掌握Shell脚本编写，熟悉Prometheus、Grafana等监控工具者优先。
5、业务理解：具备良好的业务敏感度，能快速理解数据平台对业务支撑、大模型训练的核心价值，具备较强的跨团队沟通协作能力和问题解决能力。
6、加分项：有大模型训练数据供给、音视频全天候数据平台搭建相关经验者优先；熟悉数据分层设计、数据治理相关工作者优先。 投递