Job Description

AI系统质量和性能评测研发工程师上海社招全职互联网 / 电子 / 网游职位 ID：A100186职位描述1.负责大模型推理正确性&性能、大模型分布式训练性能的评测工作，对推理服务、AI类产品进行全方位质量保障工作；规范研发、测试流程，以公司产品业务规划为指导，持续改进测试过程；
2.针对多样化的模型/Agent需求场景，包括文本，图片以及视频生成等多模态模型/Agent等，制定评测方案，对评测指标及结果归因解读；
3.持续推进建设过程自动化：搭建CI/CD流水线；开发一站式AI评测平台，提供测试数据集管理、用例参数化组织、结果标准化存储及可视化呈现等，提高评测执行效率。职位要求1.本科及以上学历，三年以上开发或测试开发经验，计算机/软件工程、人工智能等相关专业，有较好的操作系统、计算机网络、系统通信等知识基础。
2. 对技术和基础原理有执着追求，善于用各种手段解决问题；熟悉各类业界主流的人工智能相关的平台特性，具备平台与测试框架开发经验&能力。熟悉至少一门编程语言，Python/Go；熟悉Linux、docker/k8s、以及各类主流中间件；有独立的前/后端工程设计与落地经验者优先。
3.了解大模型训推性能测试基本原理，熟悉AI相关训练推理框架/工具者优先，包括但不限于Ollama、sglang、vllm、Megatron-LM等；熟悉各类Linux性能测试工具sysbench、FIO、GEMM、nccl-tests等，有国产AI芯片技术栈使用经验者优先。
4.对质量保障体系建设有较好的理解和思考，对AI评测工作（模型效果、芯片评测、训推性能&精度）有一定的认知和经验，具备较好的数据分析能力，对敏捷开发及CI/CD有一定了解（有gitlab-ci/jenkins搭建经验者优先）。
5.较强的学习、沟通、逻辑思维、创新能力，积极热忱、有要性，对人工智能领域保持高度热情，愿意和团队共同成长、创造价值。职位信息 部门： 计算平台研发 投递