• mixup--学习笔记

    1. mixup：
      1. 是一种简单而又有效的数据增强方法，涨点利器，该方法在图像、文本、语音、推荐、GAN、对抗样本防御等多个领域都能显著提高效果。
      2. mixup对两个样本-标签数据对按比例相加后生成新的样本-标签数据，一般使用beta分布来设置比例。
      3. 原因：方便：
        1. 当α = β = 1时，等于（0，1）均匀分布；
        2. 当α = β < 1时，表现为两头的概率大，中间的概率小
        3. 当α = β → 0时，相当于{0，1}二项分布，要么取0，要么取1，等于原始数据没有增强，也就是所说的经验风险最小化ERM；
        4. 当α = β > 1时，表现为两头概率小，中间概率大，类似正态分布；
        5. 当α = β → ∞ 时，概率恒等于0.5，相当于两个样本各取一半。所以使用Beta分布相当灵活，只需要调整参数α , β的值，就可以得到多样化的[0,1]区间内的概率分布，使用非常方便。
    2. cutMix：不从数值角度对两个样本插值，而是从图像的空间角度考虑，把一张图片上的某个随机矩形区域剪裁到另一张图片上生成新图片。标签的处理和mixUp是一样的，都是按照新样本中两个原样本的比例确定新的混合标签的比例。
    3. manifold mixup：把输入数据（raw input data）混合扩展到对中间隐层输出混合。至于对中间隐层混合更有效的原因，作者强行解释了一波。首先给出了现象级的解释，即这种混合带来了三个优势：平滑决策边界、拉大低置信空间（拉开各类别高置信空间的间距）、展平隐层输出的数值。至于这三点为什么有效，从作者说法看这应该是一种业界共识。然后作者又从数学上分析了第三点，即为什么manifold mixup可以实现展平中间隐层输出。
    4. patchUp：在manifold mixup基础上，又借鉴了cutMix在空间维度剪裁的思路，对中间隐层输出也进行剪裁，对两个不同样本的中间隐层剪裁块进行互换或插值，文中称互换法为硬patchUp，插值法为软patchUp。试验发现互换法在识别精度上更好，插值法在对抗攻击的鲁棒性上更好。
    5. puzzleMix：puzzleMix在cutMix基础上加入了显著性分析。因为cutMix合成的图片可能剪裁块正好来自于源图片的非重要区域或者正好把目标图片的重要区域遮挡，这明显和生成的标签不符。因此puzzle Mix首先计算各样本的显著性区域，仅剪裁显著性区域，又进一步加入了一些复杂精细的优化操作
    6. mixup方法开创了一种根据两个或多个数据样本生成混合样本的数据增强方式，相比之下，传统的数据增强方法多是根据单个样本进行变换得到新样本。这种人类无法学习的混合形式数据却能被神经网络学习并得到精度更高，泛化更好，鲁棒性更强的结果，这一点很让人吃惊。这或许揭示了神经网络和人脑学习模式的不同，揭示了神经网络的某种本质属性，但目前为止似乎还没有人彻底解释清这种本质。
  • 相关阅读:
    为什么加载了两个OAuth2AuthorizationRequestRedirectFilter分析
    无人直播间
    功能测试想进阶，可以提供一点点思路和方向吗?
    Python实用功能之pdf文件转png图片数据
    以太网UDP数据回环实验
    深眸科技自研AI视觉分拣系统，实现物流行业无序分拣场景智慧应用
    探寻欧洲市场的机遇：深度剖析欧洲跨境电商
    uniapp 开发app，如何使用模拟器
    【微服务 SpringCloud】实用篇 · 服务拆分和远程调用
    【Python】Python 子类继承父类构造函数说明
  • 原文地址：https://blog.csdn.net/weixin_45647721/article/details/127743845