softmax函数计算时减去一个最大值的原因

本文参考：

干货|softmax函数计算时候为什么要减去一个最大值？_机器学习AI的技术博客_51CTO博客

 1、softmax概述

softmax用于多分类过程，它将多个神经元的输出映射到(0,1)之间。

2、存在问题

当运算比较小的值的时候是不会有什么问题的，但是如果运算的值比较打的时候，比如很大或者很小的时候，朴素的方式直接计算会上溢或者下溢，从而导致严重的问题。

举个例子，对于[3, 1, -3]，直接计算是可行的，我们可以得到(0.88, 0.12, 0)。

但是对于[1000, 1000, 1000]和[-1000, -999, -1000]是不行的，会得到-inf。

目前浮点数只有64位，在计算指数函数的环节，exp{1000}=inf会发生上溢；exp{-1000}=0会发生下溢。

3、解决办法

函数曲线如下：

 

 

对任意a都成立，这意味着我们可以自由地调节指数函数的指数部分，一个典型的做法是取 中的最大值：a=max{x1,x2…xn}

这可以保证指数最大不会超过0，于是你就不会上溢出。即便剩余的部分下溢出了，加了a之后，你也能得到一个合理的值。

4、正确性证明

证明softmax不受输入的常数偏移影响，即
softmax(x)=softmax(x+c)
也就是证明加了偏移c之后，对整个softmax层的作用不起影响。