Job Description

大模型推理架构师北京社招全职互联网 / 电子 / 网游职位描述设计和实现高性能、高可用性和成本效益的大模型推理架构。
负责PD分离架构的研发，包括但不限于模型服务化、模型优化和部署。
熟悉AI推理技术栈，包括transformer、tritonserver、trt-llm、vllm等。
优化模型推理性能，包括但不限于flash attention、量化技术和投机解码等技术。
与产品团队紧密合作，理解业务需求，将技术解决方案转化为实际的产品特性。
跟踪AI领域的最新研究进展，并将这些进展应用于实际工作中，以保持技术领先。
指导和培养团队成员，提升团队整体技术水平。职位要求计算机科学、电子工程或相关领域的硕士及以上学历。
至少5年以上在AI模型推理架构设计和研发方面的经验。
精通transformer模型架构和原理。
熟悉tritonserver的使用和优化。
熟悉trt-llm、vllm等模型加速技术。
有实际的flash attention、量化和投机解码等技术的应用经验。
良好的项目管理能力和团队合作精神。
优秀的问题解决能力和分析能力。
良好的英语读写能力，能够阅读和理解技术文档。
加分项：
有在大规模分布式系统中工作的经验。
对AI社交产品有深入的理解和热情。
有发表过相关领域的学术论文或在顶级会议上做过演讲。 投递