Job Description

大模型算法工程Co-Design-日常实习北京、上海校招实习研发 - 算法日常实习职位描述寻找深度理解大模型算法，同时具备顶尖系统工程设计能力的专家。你将作为算法研究与工程落地的核心桥梁，主导优化大模型训练/推理效率、性能与成本，确保前沿算法在大规模系统中高效实现。
1. 协同设计与优化：
- 深入理解大模型算法（架构、训练/推理技术），评估其工程可行性、性能瓶颈与成本。
- 主导设计下一代训练/推理框架或核心组件，确保原生支持高效算法实现（如高效Attention、通信优化）。
- 系统性解决训练/推理工作负载的性能瓶颈（计算、通信、存储）。
2. 高性能系统实现：
- 设计并实现高性能核心（如定制Kernel）、优化通信与数据流水线。
3. 分布式架构：
- 设计构建大规模分布式训练系统（DeepSpeed/Megatron-LM/FSDP）。
- 设计构建高并发、低延迟的大模型推理服务平台。
4. 前瞻探索与协作：
- 跟踪领域前沿，探索验证新技术（新硬件、非Transformer架构等）。
- 高效沟通，跨团队（算法、工程、平台）协作推动方案落地。职位要求1. 学历/经验： 计算机/人工智能等相关领域本科及以上，或具备同等杰出实践经验。
2. 大模型基础： 深刻理解Transformer架构及大模型训练/推理等相关核心技术。
3. 工程硬实力：
- 精通 PyTorch 及其分布式训练（DDP/FSDP），有大规模分布式系统设计开发调优经验
- 扎实的计算机体系结构/操作系统/网络基础。
- 丰富的“性能调优”经验（Nsight Systems, Profiler等）。
加分项
1. 参与 DeepSpeed/Megatron-LM/vLLM/SGLang 等核心框架开发。
3. GPU Kernel优化 (CUDA/Triton) 经验。
4. 千亿参数级模型训练/部署经验。
5. 熟悉云平台大规模AI负载管理。 投递