损失函数笔记（2）--对比损失

一些常用与分类问题的损失函数：
1. 交叉熵损失：
  1. 是分类问题中默认使用的损失函数
  2. 交叉熵函数：计算了类概率与标准答案的距离
2. softamax：一般用作最后一层的激活函数，计算归一化的类概率。
前置知识：
1. 非参数样本分类：
  1. 每个权重向量事实上代表了每一类样本其特征值的模板
  2. 现有的分类问题实际是通过一系列深度网络提取特征，再依据大量的样本学习到有关每一类样本特征的模板，在测试阶段再将这个学到的特征模板去做比对。
  3. 所谓非参数样本分类，则是将每个计算出的样本特征作为模板，
2. 根据向量乘法：越相似的两个向量其内积越大。
对比损失：
1. 对比损失在非监督学习中应用广泛。
2. 在对比学习框架下，通常以每个样本作为一个单独的语义类别，并且有如下假设：
  1. 同一样本做不同变换后不改变其语义类别
  2. 举例说明：假设对样本x，分别做不同变换A，B，对比损失希望A(x),B(x)之间的距离要小于A（x）和任意其他样本的距离
3. 对比损失可视作添加了变换不确定性的非参数分类损失。
4. 基本准则：
  1. 近似样本之间的距离越小越好
  2. 不似样本之间的距离如果小于m,则通过互斥使其距离接近m（m使得训练目标有了边界）
  3. 依据此准则，对比损失完全忽视了那些属于不同类，但两两距离天生大于m的样本对，大大减少了计算量。

相关阅读:
Go语言：通过TDD测试驱动开发学习 Mocking （模拟）的思想
手把手带你编写你的第一个单元测试
WPF---Grid布局讲解
Linux C 应用搜索动态库
设计模式-访问者模式
博云入选国家级专精特新「小巨人」名单！
刨析代码中常用的基础 String 对象类(源码解析)
【图像识别】基于卷积神经网络实现手写汉字识别附matlab代码
81.(前端)分配权限实现——用路由来接收参数实现展开行中选数据功能
WebGPU 中消失的 FBO 和 RBO

原文地址：https://blog.csdn.net/weixin_45647721/article/details/126975131