Job Description

分布式大模型推理技术研究（博士后）北京、上海社招全职互联网 / 电子 / 网游 - 研发职位 ID：A58006职位描述研究针对千卡规模的大模型推理系统，研究设计面向大模型推理的关键优化技术和推理系统，推理系统支持万亿规模模型高性能部署；研究面向未来产业落地的长文本推理关键技术；研究面向大规模分布式集群环境部署的推理系统，支持部署在千卡规模分布式国产芯片集群环境。针对模型规模增大导致Attention和MLP部分在计算和访存需求上的不同表现特征，研究以大算子为粒度的微服务架构和资源调度方法，实现注意力、混合专家的计算需求与超节点的算力、带宽、显存资源的灵活匹配。职位要求--职位信息 部门： 技术 投递