每天五分钟机器学习：支持向量机损失函数和互熵损失函数

本文重点

本节课程我们讲学习两个常见的损失函数，一个是支持向量机损失，也叫做hinge loss，另外一个损失函数是互熵损失函数，它常常应用于softmax分类器中。

hinge loss

单样本的hinge loss可以为：

 

这个意思是说样本分类错误的分数-样本分类正确的分数小于阈值▲，则损失为0，否则损失就是样本分类错误的分数-样本分类正确的分数+▲，这个意思是说，分类错误的打分+阈值不能超过分类正确打分，否则就会产生损失。

举例：

现在由一个三分类的问题，现在有一个模型对一个样本xi(真实为y=0)的分类打分为[12,-810]，此时我们令阈值▲=10，那么此时的hinge loss的损失是什么？

Li=max(0,-8-12+10)+max(0,10-12+10)=0+8=8

此样本的损失为8

怎样理解阈值？

阈值可以理解为忍受度，我可以忍受你评分高，但是你是分类错误的，你就是再高，你也必须比分类正确的分数小于阈值的范围，否则我们就认为有损失。

缺点：

有时候虽然错误评分也挺高，但是因