【达摩院OpenVI】图像MOS评价协助清理“垃圾”照片

团队模型、论文、博文、直播合集，点击此处浏览

一、背景

MOS（Mean Opinion Score）是一种常用的主观质量评价方法，常用于视频、图像等多媒体领域中的质量评价。MOS视觉评价通常是通过让受试者观看视频/图像，对视频的清晰度、锐度、颜色饱和度、运动模糊、噪声等方面进行评价。然而，MOS视觉评价也存在一些局限，例如需要大量的受试者，评估时间较长等。因此，近年来，研究者们也开始探索使用客观评价方法来替代或补充MOS视觉评价。使用基于深度学习模型进行客观MOS评价相比传统的基于主观评价的方法，有以下一些好处：

a.）高效性：相比于传统的主观评价方法需要大量受试者进行评估，使用深度学习模型可以大大减少评估时间和人力成本，从而提高评估效率。

b.）一致性：深度学习模型可以通过训练来学习人类主观评价的规律和模式，从而使得评估结果更加一致和准确。

c.）可重复性：使用深度学习模型进行评价可以使得评估结果具有可重复性，不会像传统的主观评价方法一样受到个体差异的影响。

d.）适配性好：传统的主观评价方法需要大量人力和时间成本，使得其在实际应用中受到一定限制。而深度学习模型可以在大规模数据集上进行训练，从而可以在更广泛的场景下进行应用。

与传统的有参考评价方法PSNR, SSIM, VMAF等指标相比：1.）MOS评价不需要参考图，更契合终端用户的使用场景; 2.）传统评价方法仅仅考虑图像像素的差异，而忽略了人类视觉系统对图像质量的感知。而使用深度学习模型进行视觉MOS评价有效考虑到人类主观评价的因素，从而更加准确地衡量图像质量；

总之，使用深度学习模型进行视觉MOS评价可以提高评估效率和准确性，同时也可以使得评估结果具有更好的可重复性和更广泛的应用范围。效果如下图所示：

二、方法

客观MOS评价模型的原理是通过收集人类主观评估数据，并对数据进行特征提取和建模，自动分析图像的不同特征，例如对比度、清晰度和色彩饱和度等，并生成一个与人类主观意见相似的MOS分数。最终将该模型应用于新的图像、视频数据，实现了客观地评估媒体内容质量的目的。应用到终端用户的手机中，可以但不限于自动评价相册中海量图像、视频质量，并挑选其中的高画质内容进行二次创作，或者移除低画质内容以优化存储空间。

三、体验

体验网址：https://www.modelscope.cn/models/damo/cv_resnet_image-quality-assessment-mos_youtubeUGC/summary

方法1：模型即服务

首先打开notebook，可以通过示例右上角快速体验创建账号申领。或者根据本地环境安装（查看文档中“Python环境配置”部分），等到环境ready后，试跑如下示例代码：

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from modelscope.outputs import OutputKeys
 
img = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/dogs.jpg'
image_quality_assessment_pipeline = pipeline(Tasks.image_quality_assessment_mos, 'damo/cv_resnet_image-quality-assessment-mos_youtubeUGC')
result = image_quality_assessment_pipeline(img)[OutputKeys.SCORE]
print(result)

这样就完成了模型即服务的AI功能调用了。

方法2：使用在线体验功能

打开模型链接， 按下图所示步骤：

1. 上传图片，将待测图片手动上传。

2. 执行测试，云端推理引擎会对上传图像进行mos预测。

3. 显示结果，最终的结果会显示在框中。结果为浮点数，范围[0, 1]值越大代表图像质量越高。

四、应用

除了上述模型外，modelscope社区还上线了包括去噪、超分、调色、上色等多种视频图像修复增强算法。任何低质量的原始视频，都能够在增强修复后变得焕然一新，让你享受到极致高清、饱满、丝滑的视频观看体验。点击链接https://www.modelscope.cn/models?page=1&tasks=vision-editing&type=cv可体验多种视觉编辑功能。

视觉评价是底层视觉的一部分，能有替代人工高效完成画质评估工作，欢迎大家体验该类其他算法模型：异常帧检测、图像画质损伤分析。