Job Description

大模型推理部署工程师

北京、深圳

全职

本科及以上

职位描述

1. 根据业务需要，评估推理引擎的选型及候选部署参数。 2. 前往业务现场配置推理引擎部署环境，并部署、调优、测试推理引擎（能够接受频繁出差）。 3. 协助自研推理引擎开发团队对比评估推理引擎功能、性能。

职位要求

1. 有相关从业经验。 2. 具有良好的学习能力和团队合作精神。 3. 熟悉 vLLM、SGLang 等常用推理引擎的运行、调优方式。 4. 熟悉 GPU 服务器中与推理性能相关的系统配置。 5. 熟悉推理引擎中不同策略的优劣、适应场景。 6. 熟悉推理引擎的测试方法。 7. 具有国产/进口的多种型号 GPU 上的部署经验者优先。 8. 具有大规模集群部署经验者优先。

投递