Job Description

26届校招-大模型算法工程师（预训练数据质量）北京正式互联网 / 电子 / 网游职位描述【岗位职责】
一、大规模预训练数据处理与优化
1. 设计和优化PB级多模态训练数据的筛选、去重、清洗体系
2. 基于LLM模型的语义级去重算法、质量筛选算法优化
3. 领域特定数据筛选策略，支持代码、数学、科学等专业领域
二、数据质量评估与优化体系
1. 构建基于大模型的数据质量自动评估系统
2. 设计数据多样性、复杂度、有用性等多维度评估指标
3. 优化数据配比策略，包括领域权重、语言分布、质量分层
4. 构建数据污染检测算法，识别测试数据泄露职位要求【任职要求】
一、基础要求
1. 统招本科及以上学历，计算机、AI相关专业
2. 大模型预训练项目经验，深度参与过大模型预训练数据处理
3. 有处理TB级以上训练数据的实际项目经验
二、技术能力
1. 精通分布式计算框架（Spark、Ray、Maxcompute等）
2. 掌握高性能文本处理算法（LSH、SimHash等）
3. 熟悉云原生数据处理架构
4. 熟悉数据质量评估指标和方法
【加分项】
1. 有开源大模型项目数据相关的贡献经验
2. 发表过大模型数据相关的顶会论文
3. 熟悉 AI 伦理与安全合规的数据处理流程
4. 多模态数据处理经验 投递