Job Description

AI测试工程师杭州全职研发 - 测试职位描述1、测试规范建立（0-1搭建）：作为团队首个AI专项测试人员，负责搭建和完善公司内部AI解决方案（基于大模型应用、RAG、Agent场景）的起步测试流程、规范规则及上线验收标准。
2、专项评测与脚本开发：针对AI业务的特性，独立编写并维护自动化评测脚本。对核心业务链路（如Prompt稳定性、对话连贯性、长文本理解、格式遵循等）进行高频回归测试与持续监控。
3、前沿追踪与大模型评测：保持对前沿AI技术的高度敏感，持续高频追踪最新发布的大模型（如最新版的Gemini、Claude以及开源大模型等）；配合研发团队对不同基座模型进行接入测试与能力基准测试（Benchmark），验证其在具体业务场景中的表现。
4、测试数据集与用例建设：深入理解公司各部门（美术、策划、程序等）的实际业务痛点，收集真实业务请求，将业务场景转化为清晰的测试指标，并构建维护核心业务的“高价值评测数据集（Golden Dataset）”。
5、缺陷探索与体验优化：针对AI大模型输出的不确定性（如幻觉、废话、逻辑断层、敏感内容等），设计针对性的极端用例（Corner Cases）进行边界验证，推动开发团队进行效果调优，保障AI方案在业务部门的高质量落地。职位要求1、学历与经验：本科及以上学历，计算机等相关专业；具备 2-4年 B端/中后台系统或复杂应用的前后端测试/测试开发经验。有独立负责过完整项目测试或具备一定“从0搭建测试用例库体系”经验者优先。
2、AI敏锐度与实操经验（核心特质）：标准的AI产品“重度极客”，高频使用市面主流大模型产品，了解各家模型的优势与特点；熟悉大模型的基本概念及常见应用范式（如了解RAG检索增强、Agent工作原理等）。
3、代码与自动化能力：具备扎实的编码基础（熟练掌握 Python 优先），能够脱离纯手工测试，独立编写数据跑批验证脚本、自动化调用大模型API并完成数据清洗分析。
4、通用测试功底：精通测试及接口调试工具的运用（如Postman、JMeter等）；熟悉Linux环境及基本命令，熟练掌握关系型及非关系型数据库操作（了解向量数据库更佳）。
5、软素质要求：
1）具备“开荒精神”和极强的自驱力，面对从无到有的空白阶段，能主动探索测试方法而非被动等待指令；
2）拥有优秀的跨部门沟通同理心与文档撰写能力，能用清晰的指标向业务方解释AI的预期效果与边界；
3）逻辑思维严密，责任心强，对质量问题有刨根问底的死磕精神。
4）游戏爱好者，对游戏行业有一定认知。 投递