RayNeo

AI运维工程师(大模型推理 / AI Infra)

RayNeo  •  Onsite  •  5 hours ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

AI运维工程师(大模型推理 / AI Infra)
深圳
全职
互联网 / 电子 / 网游
职位描述
岗位职责
负责 AI 功能(语音助手、AI 问答、Agent、多模态等)的大模型推理服务部署、运维与稳定性保障。
负责大模型推理框架部署与性能优化,包括 vLLM、TensorRT-LLM、SGLang 等。
负责 GPU 集群与 AI Infra 建设,包括 Kubernetes、容器化、监控告警及自动化运维。
参与模型量化、推理加速、显存优化、吞吐优化等工作,提升推理效率并降低成本。
配合算法团队完成模型上线、压测、问题排查及线上稳定性优化。
职位要求
任职要求
本科及以上学历,计算机相关专业。
熟悉 Linux、Python/Shell,具备自动化运维能力。
熟悉 Docker、Kubernetes 等云原生技术,有 GPU 集群运维经验。
熟悉大模型推理部署,了解 vLLM、TensorRT-LLM、LMDeploy、TGI 等推理框架。
理解 Transformer、大模型推理流程及 GPU 加速原理,有推理优化经验优先。
有高并发 AI 服务、语音 AI、多模态或智能硬件相关经验优先。
投递
RayNeo

About RayNeo

RayNeo, incubated by TCL Electronics (1070.HK), is an industry leader in AR innovation, developing some of the world’s most revolutionary AR consumer hardware, software and applications. RayNeo specializes in the research and development of AR technologies with industry-leading optics, display, algorithm and device manufacturing.

Industry
Hardware & Semiconductors
Company Size
11-50 employees
Headquarters
Shenzhen, CN
Year Founded
2021
Website
rayneo.cn
Social Media