Job Description

推理框架开发工程师北京、上海社招全职互联网 / 电子 / 网游 - 研发职位 ID：A100292职位描述1. 负责大模型推理引擎的基础软件框架研发，构建高性能、高可靠的推理核心系统；
2. 对接上层大模型算法与部署组件，高效集成自研推理框架与异构算子库，实现端到端推理链路优化；
3. 参与设计并实现低开发门槛、用户友好的大模型中间层软件栈，提升模型部署效率与易用性。
职位要求1. 计算机相关专业背景，基础扎实，熟练掌握 C/C++ 和 Python，具备良好的数据结构与算法能力，有系统级软件架构设计经验；
2. 熟悉大模型推理核心技术，熟悉 PagedAttention、FlashAttention、KV Cache 多级管理与跨节点传输、PD 分离 等关键机制；
3. 有 vLLM、SGLang、TensorRT-LLM 等主流大模型推理框架的使用或开发经验；
4. 熟悉 华为昇腾（Ascend）、沐曦 等国产 AI 芯片生态，具备相关平台适配与性能优化经验者优先；
5. 熟悉 NCCL/HCCL 等通信库，掌握分布式推理中的张量/流水线并行、显存优化等技术者优先。职位信息 部门： 推理计算 投递