Job Description

AI测试开发工程师（AI Agent质量保障方向）深圳、上海全职研发职位描述核心职责
1. AI Agent质量保障体系构建
- 主导AI Agent系统（含多智能体协作、工具调用、记忆系统等）的全生命周期质量保障，针对其非确定性输出、长链路交互、动态决策等特性，制定端到端的测试策略与质量标准。
- 构建覆盖智能体感知、规划、决策、执行、记忆全链路的持续质量监控与改进体系，推动质量门禁左移，主导复杂Agent交互项目的风险预警及质量复盘。
- 负责从Agent工作流设计、知识库准备到模型服务上线部署的全流程质量管控。
2. AI Agent自动化测试与效能提升
- 开发专用于AI Agent的自动化测试工具与平台，对智能体的意图识别准确性、工具调用正确性、多轮对话一致性及记忆系统有效性进行专项验证与回归测试。
- 通过深度集成CI/CD、构建Agentic自动化测试平台及线上质量监控体系，提升AI系统测试效率与问题拦截能力，实现质量评估的自动化与常态化。
- 构建和维护AI Agent效果自动化评估体系，开发自动化评测工具，实现对智能体表现的高频、快速迭代验证。
3. AI Agent专项评测与评估体系
- 建立科学的AI Agent效果评估体系，设计覆盖多语言、多场景、多模态的测试数据集（包括边缘案例和对抗性测试），重点评估其在实际业务场景中的解决能力。
- 实施A/B测试与冠军/挑战者（Champion/Challenger）模型以量化Agent迭代效果，并根据用户体验与业务指标，制定智能体的评估指标体系和质量标准。
- 开展智能体专项评测，包括但不限于提示词鲁棒性测试、对抗测试（如提示词注入、越狱攻击）、复杂工作流稳定性测试及多智能体协同测试。
4. 非功能性测试与性能保障
- 负责AI Agent服务的API接口、推理延迟、资源消耗、并发能力和长时运行稳定性等非功能性测试。
- 重点关注AI系统在端到端响应延迟、知识库检索性能（特别是百万/千万向量级别）以及多模态处理吞吐量等方面的表现。
- 发现并推动解决Agent在部署过程中的性能瓶颈和在不同推理框架（如vLLM）下的适配性、稳定性问题。职位要求必备技术能力
- 掌握Python/C++/Java中至少一门语言，熟练掌握NumPy、Pandas等数据处理库。
- 对AIGC大模型及AI Agent的主客观评价指标有成体系的方法论，精通其特有的评测方法。
- 熟悉CI/CD持续集成测试框架，具备构建自动化质量保障流水线的能力。
- 具备使用主流Agent测试框架（如Testin XAgent等）或自动化测试引擎的经验者更佳。
- 深入理解AI Agent架构原理及其核心概念，如规划、工具使用、记忆等。
经验背景
- 有AI产品或复杂系统测试架构设计经验者优先，具备从零构建AI质量保障体系的能力。
- 具备大型AI项目或Agent项目的质量保障经验，能够主导测试策略制定、流程优化和风险预警。
- 有AI图像、自然语言或多模态等一种或多种算法的评估测试经验者优先。
- 有使用AI驱动测试工具（如Testin XAgent平台）经验者优先。
综合素质
- 出色的沟通协调与跨团队推动能力，能有效驱动问题闭环。
- 逻辑思维清晰，对质量风险敏感，具备技术总结、规划与落地能力。
- 对AI测试技术有热情，具备快速学习能力和强烈的自驱力。
加分项
- 有大模型（LLM）、AI Agent或智能服务测试经验者优先。
- 了解RAG（检索增强生成） 或 Agentic Frameworks，并有相关测试经验。
- 有参与AI顶会或阅读优秀论文并动手复现的经验。
- 有开源项目贡献或技术博客分享经历。 投递