职位描述

1、基于AI芯片，完成AI推理服务化框架的方案设计及开发
2、负责框架与开源生态的适配，包括vLLM/SGLang/PyTorch/ONNX Runtime等；
3、负责大模型Agent框架，文本、多模态、语音及AIGC等应用生态的建设
4、负责主流场景AI应用的开发及效果优化
5、围绕AI芯片工具链、AI硬件产品，建设包括云平台、设备管理、模型管理在内的各类配套基础设施，为商业落地打下基础
6、建设内部各类工具与系统

职位要求

职位要求
1、熟练掌握Linux环境下的C++/Python/Go等2种以上语言；
2、熟练掌握HTTP/SSE、WebSocket等应用层网络协议，了解OpenAI API等常用大模型应用接口协议，熟悉全栈Web应用的开发；
3、深度参与过大模型Agent框架的开发，或有Agent相关项目的落地经验；
4、熟悉至少一种主流的推理框架（例如vLLM/SGLang/PyTorch/ONNX Runtime等）；
5、熟悉Transformer、MOE架构、投机采样等大模型相关基础知识，CS专业基础知识扎实；
6、有强烈的工作责任心，能主动推动目标的达成；
加分项：
1、熟悉基于NPU或其他AI芯片工具链的开发，有边端侧AI解决方案落地经验；
2、有大模型推理优化相关经验，比如：KVCache相关优化的实现、采样算法的优化实现等；
3、有云平台建设或物联网设备管理系统开发经验；
4、有Kubernetes架构和生态经验，参与过TOB项目的落地；
5、有开源项目参与经验；