ShengShu

模型评测专家

ShengShu  •  Onsite  •  1 day ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

模型评测专家
北京
全职
互联网 / 电子 / 网游 - 研发
职位描述
负责音视频生成大模型方向的评测与质检工作,包括设计benchmark、评测体系构建、评测质检以及输出专业评测报告,保证评测时效性与评测质量;
1. 评测体系迭代:密切关注音视频生成技术的前沿动态和行业需求变化,持续优化 Benchmark构建维度、模型评测维度、指标权重及测试用例,确保评测体系始终适配技术发展与业务拓展需求;
2.模型评测:对生成的音视频进行主观质量评估。包括视频能力(语义遵循、画质、美学、合理性、叙事、清晰度等)、音频(音质、台词等),给出专业的主观评价意见;
3. 评测方案设计与执行:从专业的角度,参与制定并执行评测方案,及测试集的设计。负责对评测团队进行培训指导,把控标注质量和评测结论的准确性;
4. 评测数据整理与分析:对评测过程中产生的数据进行整理和分析,及时发现生成中存在的问题,分析不同场景、考察维度下的效果变化,形成评测报告,为项目团队提供有价值的专业参考信息和针对性的改进建议,协助优化模型效果;
5. 跟进行业主流竞品多模态生成/理解模型及行业能力变化,有敏锐的用户视角参与竞品调研、线上效果分析、算法效果分析、问题挖掘归因和行业评测探索,为模型迭代和项目决策提供参考;
6.擅长使用AI提高工作效率,具备一定的影视美学鉴赏能力,思维灵活,踏实认真。
职位要求
1、本科及以上学历,数字媒体艺术、美术、设计、动画、影视编导、导演、摄影、技术美术;或技术方向计算机、人工智能、数据分析等相关专业优先 ;
2、具备较好的审美判断力和视听语言理解能力,对音视频内容质量有较强判断力,熟悉视频画质、美学构图、镜头语言、叙事逻辑、运动合理性、音质、音色、节奏、音画匹配等评价维度;
3、对 AIGC 创作有实际经验,熟悉从创意构思、Prompt 设计、素材准备、模型生成、结果筛选、后期调整到成片交付的完整流程;有影视拍片项目经历、影视行业制作经验或全流程 AIGC 创作经验者优先;
4、深度使用过业界主流文生图、文生视频、多模态大模型或音频生成工具者优先,如即梦、Seedance、海螺、Nano Banana 等;有竞品评测经验,能够清晰分析不同模型的效果水位、优势短板和适用场景者优先;
5、有 AI 算法测试、数据标注、评测体系建设或标注 POC 经验者优先;对大模型、AIGC、多模态生成、视频生成等方向有较深入理解者优先。仅有纯执行型标注经验、缺少评测分析和标准建设能力者不优先;
6、具备较强的主观判断能力和结构化分析能力,能够将主观视听感受拆解并量化为客观评价标准,逻辑清晰、思维敏捷,善于分析总结,并能清楚表达自己的观点、判断依据和问题归因;
7、具备良好的数据敏感度、文档能力和跨团队沟通能力,能够输出评测方案、标注规范、质检报告、评测报告等材料,并与算法、产品、标注团队高效协同;
8、具备优秀的快速学习能力、抗压能力和项目推进意识,能够适应多轮模型迭代、批量样本评测、紧急交付和复杂问题排查;
9、有代码编写经验优先,熟悉 Python、SQL、数据处理、自动化评测脚本、可视化分析,或具备基于 AI 工具提升数据处理和评测效率的能力者优先。
投递
ShengShu

About ShengShu

We are the first General World Model ("GWM") company globally that built a GWM unifying the digital world and the physical world. We are dedicated to building a unified intelligence framework capable of modeling, reasoning, predicting and acting upon the underlying rules that govern both digital and physical worlds. Guided by first principles thinking, we use visual and auditory information, which naturally encodes the physical world, to train our foundation world model and replicate the human process of perceiving, simulating and interacting with the world, and ultimately, to enable AGI that connects the digital world with the physical world.

Industry
Unknown
Company Size
11-50 employees
Headquarters
Beijing, CN
Year Founded
2023
Social Media