AI学会发表增强的视频评论

人工智能研究中评估视频内容的挑战

在深入研究计算机视觉文献时，大型视觉-语言模型（LVLMs）对于解释复杂的提交内容非常有价值。然而，在评估科学论文附带的视频示例的质量和价值时，它们遇到了重大障碍。这是一个关键方面，因为引人注目的视觉效果与文本同样重要，能够激发兴趣并验证研究项目中提出的主张。

视频合成项目尤其依赖于展示实际视频输出，以避免被忽视。在这些演示中，可以真正评估项目的现实表现，通常揭示项目大胆主张与其实际能力之间的差距。

我读了书，没看电影

目前，基于API的流行大型语言模型（LLMs）和大型视觉-语言模型（LVLMs）无法直接分析视频内容。它们的能力仅限于分析视频相关的转录文本和其他基于文本的材料。当要求这些模型直接分析视频内容时，这一局限性尤为明显。

*当要求直接分析视频而无需借助转录文本或其他基于文本的来源时，GPT-4o、Google Gemini和Perplexity表现出不同的反对意见。*

像ChatGPT-4o这样的模型可能会尝试对视频进行主观评估，但在进一步追问时最终会承认它们无法直接观看视频。

*在被要求对新研究论文相关视频进行主观评估后，ChatGPT-4o假装给出了真实意见，最终承认它无法直接观看视频。*

尽管这些模型是多模态的，可以分析单个照片，例如从视频中提取的帧，但它们提供质量意见的能力值得怀疑。大型语言模型往往倾向于给出“讨好人”的回应，而不是真诚的批评。此外，视频中的许多问题是时间性的，分析单一帧完全无法抓住重点。

大型语言模型能够对视频进行“价值判断”的唯一方法是利用基于文本的知识，例如理解深度伪造图像或艺术历史，将视觉质量与基于人类洞察的学得嵌入相关联。

*FakeVLM项目通过专门的多模态视觉-语言模型提供针对性的深度伪造检测。* 来源：https://arxiv.org/pdf/2503.14905

虽然大型语言模型可以在辅助AI系统（如YOLO）的帮助下识别视频中的对象，但没有基于损失函数的指标来反映人类意见，主观评估仍然难以实现。

条件视觉

损失函数在训练模型中至关重要，用于衡量预测与正确答案的偏差，并指导模型减少错误。它们还用于评估AI生成的内容，例如逼真的视频。

一个流行的指标是Fréchet Inception Distance（FID），它衡量生成图像与真实图像分布之间的相似性。FID使用Inception v3网络计算统计差异，分数越低表明视觉质量和多样性越高。

然而，FID是自参照和比较性的。2021年引入的Conditional Fréchet Distance（CFD）通过考虑生成图像是否符合附加条件（如类别标签或输入图像）解决了这一问题。

*2021年CFD实例。* 来源：https://github.com/Michael-Soloveitchik/CFID/

CFD旨在将定性的人类解释融入指标，但这种方法带来了挑战，例如潜在的偏见、频繁更新的需求以及预算限制，这些可能影响评估的长期一致性和可靠性。

cFreD

来自美国的一篇最新论文介绍了Conditional Fréchet Distance (cFreD)，这是一种新指标，旨在通过评估视觉质量和文本-图像对齐度更好地反映人类偏好。

*新论文的部分结果：针对提示“客厅里有一张沙发和一台放在沙发上的笔记本电脑”，不同指标的图像排名（1-9）。绿色高亮显示人类评分最高的模型（FLUX.1-dev），紫色高亮最低的（SDv1.5）。只有cFreD与人类排名一致。请参阅源论文以获取完整结果，此处因篇幅限制未全部展示。* 来源：https://arxiv.org/pdf/2503.21721

作者认为，传统指标如Inception Score（IS）和FID不足以应对问题，因为它们仅关注图像质量，而未考虑图像与提示的匹配程度。他们提出，cFreD同时捕捉图像质量和输入文本的条件性，与人类偏好的相关性更高。

*论文测试表明，作者提出的指标cFreD在三个基准数据集（PartiPrompts、HPDv2和COCO）上始终比FID、FDDINOv2、CLIPScore和CMMD与人类偏好有更高的相关性。*

概念与方法

评估文本到图像模型的黄金标准是通过众包比较收集的人类偏好数据，类似于大型语言模型使用的方法。然而，这些方法成本高昂且速度慢，导致一些平台停止更新。

*Artificial Analysis Image Arena排行榜，列出当前估计的生成视觉AI领导者。* 来源：https://artificialanalysis.ai/text-to-image/arena?tab=Leaderboard

自动指标如FID、CLIPScore和cFreD对于评估未来模型至关重要，特别是随着人类偏好的演变。cFreD假设真实和生成图像均遵循高斯分布，并通过提示评估预期的Fréchet距离，评估真实性和文本一致性。

数据与测试

为评估cFreD与人类偏好的相关性，作者使用了多个模型对相同文本提示的图像排名。他们利用Human Preference Score v2（HPDv2）测试集和PartiPrompts Arena，将数据整合为单一数据集。

对于较新的模型，他们使用COCO的训练和验证集中的1,000个提示，确保与HPDv2无重叠，并使用Arena排行榜中的九个模型生成图像。cFreD与多个统计和学习指标进行评估，显示出与人类判断的高度一致性。

*在HPDv2测试集上使用统计指标（FID、FDDINOv2、CLIPScore、CMMD和cFreD）和人类偏好训练指标（Aesthetic Score、ImageReward、HPSv2和MPS）的模型排名和得分。最佳结果以粗体显示，次佳结果加下划线。*

cFreD与人类偏好的对齐度最高，相关性达到0.97，排名准确率为91.1%。它优于其他指标，包括那些基于人类偏好数据训练的指标，证明其在不同模型中的可靠性。

*在PartiPrompt上使用统计指标（FID、FDDINOv2、CLIPScore、CMMD和cFreD）和人类偏好训练指标（Aesthetic Score、ImageReward和MPS）的模型排名和得分。最佳结果以粗体显示，次佳结果加下划线。*

在PartiPrompts Arena中，cFreD与人类评价的相关性最高，为0.73，紧随其后的是FID和FDDINOv2。然而，基于人类偏好训练的HPSv2相关性最强，为0.83。

*在随机采样的COCO提示上使用自动指标（FID、FDDINOv2、CLIPScore、CMMD和cFreD）和人类偏好训练指标（Aesthetic Score、ImageReward、HPSv2和MPS）的模型排名。排名准确率低于0.5表示不一致对多于一致对，最佳结果以粗体显示，次佳结果加下划线。*

在COCO数据集评估中，cFreD的相关性为0.33，排名准确率为66.67%，在与人类偏好的对齐度中排名第三，仅次于基于人类数据训练的指标。

*在COCO数据集上显示每个图像骨干排名与真实人类排名的匹配胜率。*

作者还测试了Inception V3，发现其表现不如基于变换器的骨干，如DINOv2-L/14和ViT-L/16，后者在与人类排名的对齐上始终表现更好。

结论

虽然人类参与的解决方案仍是开发指标和损失函数的最佳方法，但其规模和更新频率使其不切实际。cFreD的可信度取决于其与人类判断的间接对齐。该指标的合法性依赖于人类偏好数据，因为没有此类基准，类似人类的评估主张将无法证明。

将当前生成输出的“真实性”标准纳入指标函数可能是一个长期错误，因为我们对真实性的理解随着新一代生成AI系统的出现而不断演变。

*在这一点上，我通常会包含一个示例性的视频示例，或许来自最近的学术提交；但这样做会有点刻薄——任何在Arxiv的生成AI输出上花费超过10-15分钟的人都会遇到补充视频，其主观质量较差，表明相关提交不会被视为里程碑论文。*

*实验中总共使用了46个图像骨干模型，并非所有模型都包含在图表结果中。请参阅论文附录以获取完整列表；表格和图表中列出的为精选模型。*

首次发布于2025年4月1日，星期二