MiniMax

大模型预训练数据算法工程师

MiniMax  •  Onsite  •  18 hours ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

大模型预训练数据算法工程师
北京、上海
社招
全职
互联网 / 电子 / 网游
职位描述
围绕大语言模型预训练,探索并构建前沿的大规模预训练数据处理管线;研究不同数据源的数据处理方法,将有效策略落地为可规模化运行的生产方案,最终通过预训练实验完成模型效果验证;岗位工作覆盖数据算法与数据工程两个方向,既关注数据处理方法本身,也关注方法在真实数据规模上的可靠落地。
工作职责:
1. 面向网页、代码、PDF/文档、多语言等不同类型的数据,研究数据构造、提取、解析、清洗、去重、质量评估、过滤和数据选择等方法。
2. 分析不同数据源的数据特征和质量问题,通过统计分析、数据抽样、错误案例及必要的实验评估处理效果。
3. 结合预训练模型的训练与评测结果,理解不同数据处理方式对模型效果的影响,并持续迭代数据方案。
4. 设计、开发和优化大规模预训练数据处理管线,关注数据正确性、处理效率、资源成本、稳定性和可复现性。
5. 根据实际问题持续完善相关的数据算法、处理工具和工程能力,并将有效方案沉淀为可复用的数据处理流程。
6. 与预训练算法、数据基础设施及其他相关团队协作,推动数据方案在实际训练任务中的应用。
职位要求

1. 具备扎实的编程基础,熟练使用 Python,能够完成数据分析、算法实现和工程开发。
2. 在数据算法或大规模数据工程至少一个方向有扎实积累,并具备跨越两个方向解决实际问题的能力。
3. 具备大规模数据处理经验,能够开发、运行和调试数据处理任务,分析性能、稳定性及数据正确性问题。
4. 对数据质量有基本理解,能够通过统计、抽样和错误案例发现问题,并提出可验证的处理方法。
5. 对机器学习和大语言模型预训练有基本理解,能够理解数据对照、控制变量和模型评测结果。
6. 具备良好的分析、沟通和协作能力,能够清晰说明方案依据、实验结果及其适用范围。
加分项:
- 参与过大语言模型预训练、继续预训练或训练数据构建;
- 处理过网页、代码、PDF、学术文档或多语言语料;
- 有数据提取、质量评分、分类过滤、去重、数据选择或数据混合相关经验;
- 有分布式数据处理、数据基础设施或大规模任务优化经验;
- 参与过模型训练或数据实验,能够设计和分析数据相关的对照实验;
- 曾推动复杂数据处理工作从问题分析、方案设计和工程实现走向实际应用;
- 有相关论文、开源项目或生产实践经验。
投递
MiniMax

About MiniMax

MiniMax is a leading global technology company and one of the pioneers of large language models (LLMs) in Asia. Our mission is to build a world where intelligence thrives with everyone.

MiniMax develops proprietary LLMs across various modalities, including a trillion-parameter MoE model, a speech model with low latency and native support for major Asian languages, and a state-of-the-art text-to-speech and text-to-video models. Experience it now at https://hailuoai.com/

Leveraging these multi-modality general-purpose models, the MiniMax API Platform offers enterprises and developers secure, flexible, and reliable API services, enabling the rapid deployment of AI applications.

Industry
IT & Software
Company Size
51-200 employees
Headquarters
Singapore, SG
Year Founded
2022
Social Media