• 【无标题】


    PSNR(Peak Signal-to-Noise Ratio峰值信噪比)

    主要用于衡量两张图像之间差异,例如图片压缩、图像复原等。PSNR 最小值为 0,PSNR 越大,两张图像差异越小。
    在这里插入图片描述
    在这里插入图片描述
    其中,I为Ground truth图像,K为待评价图像,MSE为均方误差,MAX为像素的最大值(如图像为uint8类型则MAX为255,float类型则MAX为1)。
    如果为灰度图,直接按照上述公式计算,如果为RGB图像,则有3种不同的计算方式(一般用第二、第三种):

    • 分别计算 RGB 三个通道的 PSNR,然后取平均值
    • 计算 RGB 三通道的 MSE ,然后再除以 3
    • 将图片转化为 YCbCr 格式,然后只计算 Y 分量也就是亮度分量的 PSNR

    SSIM(Structural SIMilarity结构相似性)

    也用于评价两张图像的差异,基于人眼会提取图像中结构化信息的假设,比传统方式更符合人眼视觉感知,更贴近类似人的感受。
    SSIM ⁡ ≤1,SSIM 越大,两张图像越相似。
    从亮度 (luminance)、对比度 (contrast) 和结构 (structure)三个维度来评价:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    KL散度(相对熵)

    用于衡量两个概率分布之间的相似度,KL散度值越小,分布越相似。
    在这里插入图片描述
    其中p(x)为真实分布,q(x)为模型预测的分布。

    IS(Inception Score)

    用于评价生成模型所生成图片的质量与多样性,值越大越好。缺点:只考虑生成样本,真实性判断与预训练Inception v3模型的数据集强相关。
    在这里插入图片描述
    其中x为pg生成的图片。

    • p(y|x) 衡量生成图片的清晰度,熵越小,分布越尖锐,代表图像越清晰。计算方式为把x输入到Inception v3中,得到一个1000维的特征向量y,表示图片属于1000个类别的概率。图片清晰度越高,则x属于某个类别的概率就越高,即y中的某个维度的值会很大,而其他维度的值会很小。

    • p(y) 衡量图片的多样性,计算方式为取N个生成样本,求p(y|x)的均值。结果的熵越大,代表生成的图片左所有类别中的分布越均匀。
      在这里插入图片描述

    • Dkl表示表示求p(y|x)对于p(y)的KL散度,如果 p(y|x) 和 p(y) 的距离很大,说明前者所个很尖锐的分布,而后者是一个均匀分布,从而说明模型清晰度和多样性都很好。

    FID(Fréchet Inception Distance)

    直接考虑生成数据和真实数据在feature(使用Inception Net-V3全连接前的2048维向量作为图片的feature)层次的距离,不再额外的借助分类器,以此来衡量生成图片和真实图片的距离,FID值越小說明相似度越高。FID无法反映生成多样性(直接copy训练集的模型FID会很小)。

    本质上,FID是衡量两个多元正态分布的距离:
    在这里插入图片描述
    在这里插入图片描述

    Perceptual Path Length

    衡量模型结合不同的训练图片特征的能力,也就是生成器能否很好的把不同图片的特征分离出来,如不同的噪声z分量控制所生成图片的不同区域。

    计算方式:给出两个随机噪声 ,为求得两点的感知路径长度PPL,采用微分的思想。把两噪声点插值路径细分成多个小段,求每个小段的长度,再求平均。直观来说,PPL评估利用生成器从一个图片变到另一个图片的距离,越小越好。
    在这里插入图片描述
    简单理解:越相近的输出,其对应的z应该也应该距离越小,如下图的z1和z2生成狗的图片,从z1到z2的变化路径中的z,生成的图片也应该是狗。
    在这里插入图片描述

    FVD

    把图像特征提取网络换成视频特征提取网络,其他与FID基本相似

  • 相关阅读:
    微信小程序-4
    【QT知识】在widget中的绘制事件函数
    基于Java毕业设计服务管理系统源码+系统+mysql+lw文档+部署软件
    do while(0)的作用以及原因
    第K位数字
    【three.js】结合vue进行开发第一个3d页面
    优化python中os模块遍历文件夹时的排序问题
    开源投票系统源码至尊版带礼物道具 无限多开 盈利模式超丰富
    理解Go语言延迟执行语句defer关键字
    任务7 课程信息管理系统
  • 原文地址:https://blog.csdn.net/xiezongsheng1990/article/details/134335262