Job Description

工具链AI架构工程师（评测方向）

上海

社招

全职

数字技术

本科及以上

7-10 年

职位描述

• 负责构建面向 AI Agent / LLM 应用的评测框架，设计有效性、准确性、稳定性、鲁棒性、Token 使用效率、成本等核心评测指标； - 设计并开发 AI 驱动的智能汽车自动化测试框架、自动化测试 SDK 及测试执行引擎； - 基于 LLM / Agent 能力，建设测试用例生成、测试流程编排、日志分析、缺陷定位、结果总结、辅助决策等智能化测试能力； - 设计和实现 Agent Tool / Skill / MCP 等能力模块，推动测试工具链能力的标准化、模块化和可复用； - 参与 AI 测试平台、自动化测试平台、工具链平台的架构设计与核心能力开发，提升平台稳定性、扩展性和工程效率； - 结合智能汽车典型测试场景，推动 AI Agent 在诊断、刷写、台架、日志分析、接口测试、系统集成测试等场景中的应用落地； - 参与业务需求分析、技术方案设计和工程实现，推动复杂测试场景从需求到交付的高质量闭环； - 跟踪 LLM、Agent、Eval、RAG、自动化测试、智能测试工具链等前沿技术，并推动在实际业务中的应用。

职位要求

必备要求 (3-4项): - 计算机、通信、电子、自动化等相关专业，本科 8 年以上或硕士 5 年以上工作经验； - 精通 Go / Python 至少一种语言，具备自动化测试框架或测试平台从 0 到 1 的架构设计和落地经验； - 熟悉 LLM / AI Agent 基本原理，理解 Prompt、Tool Calling、Function Calling、RAG、Agent Workflow、Memory、Eval 等关键概念； - 熟悉 LangChain、LlamaIndex、AutoGen、CrewAI、Claude Code、OpenAI / Anthropic SDK 或类似 Agent / LLM 应用开发框架中的一种或多种； - 理解 Agent 的 Tool / Skill / MCP 等能力抽象机制，能够设计和实现可复用、可测试、可观测的 AI 能力模块； - 具备 AI 应用评测或自动化评测经验，能够设计测试集、评测指标、评测流程和结果分析方法； - 熟悉 Pytest、RobotFramework等一种或多种自动化测试框架及工程实践； - 熟悉 Linux 系统开发与调试，掌握常用系统工具、日志排查、Docker 环境使用与调试； - 熟悉多线程 / 多进程、客户端 / 服务端架构、API 设计、CI/CD、服务稳定性等基础工程能力； - 具备良好的问题抽象、工程落地、沟通协作能力，能够在复杂业务场景中推动方案落地； - 英文听说读写流利，能够阅读英文技术文档并跟进 AI 前沿技术。 优选要求: - 有 Agent Eval、LLM Eval、模型效果评估、Prompt 评测、测试集建设、自动化 Benchmark 经验； - 有测试工具链、自动化测试平台设计经验，有复杂系统问题定位、日志智能分析、测试报告自动生成、缺陷根因分析等 AI 测试场景落地经验； - 对 AI 工程化、AI 安全、可观测性、成本优化、Token 使用效率优化有实践经验者优先。

投递