职位描述

1，负责开发和优化大模型推理优化和CV/NLP等模型推理；
2，持续优化大模型推理服务性能，提升吞吐，降低延迟并优化整体成本；
3，负责机器学习系统前瞻技术的调研和引入；

职位要求

1，精通Python，精通算法与数据结构，熟悉C/C++；
2，有深度学习应用加速和优化的经验，熟悉常见的加速技术，如剪枝、量化、分布式推理等，并能够根据不同场景和硬件平台进行针对性的优化；
3，熟悉LLM主流推理引擎，如TensorRT-LLM、vLLM等，熟悉常见的推理优化方法，如FlashAttention、PageAttention、Continuous Batching、Speculative Decoding等；
4，具备良好的沟通和团队合作能力，能够与跨功能团队密切合作，解决问题并实现共同目标；
5，熟悉 GPU硬件结构，熟悉TensorRT/Triton，有 CUDA开发、优化经验者优先。