Job Description
多模态大模型系统研发实习生(VLM / RL / 推理系统方向)北京实习互联网 / 电子 / 网游职位描述【岗位职责】
你将参与下一代多模态大模型(Vision-Language Model, VLM)的系统研发工作,与团队共同探索大模型从训练到推理部署的完整技术链路。具体工作包括但不限于:
1.多模态大模型训练系统研发
参与 Vision-Language Model(VLM)的训练系统研发与优化,基于 PyTorch / Megatron 等框架构建大规模分布式训练系统。你将深入理解并优化 TP / PP / CP / SP / EP / MoE 等并行训练策略,并参与多模态数据 pipeline(image / video / text)的构建与优化。
2.大模型推理系统开发与优化
参与设计与实现大模型推理系统,基于 vLLM / SGLang 等推理框架构建高性能推理服务。探索 KV Cache、batching、scheduling 等关键推理技术,并支持多模态模型的推理部署。同时探索大模型量化推理(FP8 / INT8 / AWQ / GPTQ 等)与推理性能优化。
3.RL 与模型对齐系统开发
参与 RLHF / RLAIF / GRPO 等大模型对齐算法的工程实现,构建训推分离(training-serving separation)的 RL 训练系统。参照 slime、verl 等优秀开源 RL 框架构建 RL pipeline,并优化 rollout、sampling、reward 与 trainer 等核心模块。
4.大模型系统工程与性能优化
参与大模型系统工程研发,进行 CUDA / NCCL / GPU 计算性能优化。通过 profiling 与性能分析工具定位系统瓶颈,提升大规模训练与推理系统的稳定性与性能。职位要求【岗位要求】
基础要求
1.熟练使用 Python,具备良好的代码习惯与工程能力
2.熟悉 PyTorch 或深度学习基础
3.熟悉 Linux 开发环境
4.对大模型系统技术有浓厚兴趣
加分项(满足任意一条)
1.熟悉 Megatron / DeepSpeed / FSDP 等大模型训练框架
2.熟悉 vLLM / SGLang / TensorRT-LLM 等推理框架
3.熟悉 RLHF / PPO / GRPO 等强化学习算法
4.使用过 slime、verl 或类似 RL 框架
5.有大模型训练或推理系统开发经验
6.熟悉 CUDA / GPU 编程或性能优化
7.熟悉分布式系统或分布式训练
8.有开源项目经验(GitHub / 技术博客等)
【我们希望你是这样的人】
1.对大模型系统技术充满热情
2.喜欢研究系统底层原理与性能优化
3.有较强的自驱力与工程能力
4.能稳定实习 3-6 个月及以上
【你将获得】
1.深度参与 智谱 AI 多模态大模型(GLM 系列 / VLM) 的系统研发
2.接触 大规模训练系统、RL 对齐系统与推理系统 的核心工程实践
3.使用 A100 / H100 等大规模 GPU 集群 进行模型训练与实验
4.与顶尖 AI 研究员与系统工程师协作,快速提升系统研发能力
5.表现优秀的同学将获得 长期实习 / 转正机会 投递