Job Description

端侧AI部署工程师

深圳

社招

全职

互联网 / 电子 / 网游

职位描述

一、岗位职责 端侧 AI 模型部署与优化：负责计算机视觉（CV）、大模型（LLM）在端侧与边缘计算平台上的部署、量化、编译及推理优化，推动算法在高通（Qualcomm）、瑞芯微（Rockchip）、爱芯元智（AX）等芯片平台上的高效落地。 模型量化与精度优化：研究 PTQ、QAT、INT8/INT4、W4A16、混合精度量化、模型蒸馏及模型压缩等技术，优化模型量化策略与算子精度，解决模型在不同芯片平台上的量化精度损失、算子兼容性及模型转换问题。 异构计算与推理性能优化：深入研究端侧 SoC 架构及 NPU、GPU、DSP、CPU 等异构计算单元的性能特性，开展算子优化、计算图优化、算子融合、内存管理与数据传输优化，提升模型推理速度、计算资源利用率及能效表现。 高性能推理引擎与 Pipeline 开发：基于 C/C++ 开发和优化端侧 AI 推理引擎、模型执行框架及推理流水线，研究多模型协同调度、异步推理、内存复用及零拷贝等技术，提升端侧 AI 系统的实时性、稳定性与资源利用效率。 端侧部署验证与自动化平台建设：负责端侧 AI 模型部署验证平台、自动化评测及性能压测系统的设计与开发，构建覆盖模型转换、量化精度对齐、推理性能、内存占用、功耗及稳定性的自动化测试体系，提升算法部署效率与质量。 模型精度对齐与问题定位：建立 PyTorch/ONNX 与端侧推理结果的精度对齐和分层诊断机制，定位并解决量化误差、算子实现差异、数值精度、内存限制及设备兼容性等问题，保障模型在真实硬件环境中的精度与可靠性。 端侧 AI 系统工程化落地：负责端侧模型部署 SDK、推理接口及相关工程模块的开发与维护，优化模型加载、运行时资源管理、异常处理与部署流程，推动 CV、LLM 及多模态模型在智能摄像头、门铃、机器人和边缘计算设备等产品中的实际应用。 芯片适配与跨团队技术攻坚：与算法研发团队、芯片原厂及产品团队紧密协作，完成芯片平台选型、模型算子适配、推理性能分析与部署问题攻关，推动算法模型在不同硬件平台上的高效迁移与规模化交付。 前沿部署技术研究：持续跟踪端侧 AI、模型量化、异构计算、高性能推理引擎等前沿技术，探索新型模型架构与芯片平台的高效适配方案，提升端侧 AI 部署技术竞争力。 二、岗位要求 计算机科学、软件工程、电子信息、自动化、通信工程等相关专业，本科及以上学历，具备 3 年及以上端侧 AI 算法部署、嵌入式深度学习推理或异构计算优化相关工作经验。 精通 C/C++ 编程，熟悉现代 C++ 特性，具备良好的软件架构设计、代码工程化、内存管理、多线程开发及性能调试能力，熟悉 Linux 环境下的开发与调试。 熟悉高通（Qualcomm）、瑞芯微（Rockchip）、爱芯元智（AX）等至少一种主流端侧 AI 芯片平台，理解 CPU、GPU、NPU、DSP 等异构计算架构及其性能特点，具备相关 SDK、模型转换工具链和推理框架的实际使用经验。 熟悉深度学习模型部署与优化流程，掌握 ONNX、TensorRT、ONNX Runtime、QNN、RKNN 等一种或多种推理框架或工具链，能够独立完成模型转换、量化、部署、性能分析及问题定位。 熟悉模型量化与压缩技术，掌握 PTQ、QAT、INT8/INT4、FP16、混合精度量化等方法，理解量化误差来源、数值精度问题及模型精度对齐方法，具备实际模型优化经验。 理解 CNN、ViT、Transformer、LLM 等主流模型架构及基本原理，熟悉 CV 或 LLM 模型的计算特征与部署瓶颈，了解 Attention、内存带宽及端侧推理性能优化等相关技术。 熟悉端侧推理性能分析与优化方法，具备算子性能分析、内存优化、计算图优化、异构计算调度或推理 Pipeline 优化等相关经验。 具备良好的技术攻坚、问题分析与解决能力，能够独立定位复杂的模型部署、精度异常及性能问题，具备良好的跨团队协作与技术文档编写能力。 三、加分项 熟悉 QNN、RKNN Toolkit、Pulsar2、TensorRT、ONNX Runtime 等端侧推理工具链，具有模型算子适配、芯片性能调优或 SDK 开发经验。 具备 CUDA、OpenCL、OpenVX、Neon、SIMD 等并行计算或底层算子优化经验，熟悉 NPU/GPU/DSP 异构计算及内存访问优化技术。 有端侧 AI 推理引擎、高性能 C/C++ Pipeline、多模型协同推理或实时计算系统的开发经验。 具备端侧模型自动化部署、精度对齐、CI/CD、Benchmark 或稳定性压测平台的设计与开发经验。 熟悉嵌入式 Linux、Android、交叉编译、驱动与系统资源管理，具备智能摄像头、机器人、AIoT 或边缘计算产品的实际量产交付经验。 在端侧 AI 推理加速、模型量化、异构计算或高性能推理引擎相关领域有高水平论文、专利、开源项目或实际工程成果者优先。

职位要求

投递