对数似然函数 | 交叉熵 | 损失函数

对数似然代价函数（Log-Likelihood Cost Function）通常用于训练神经网络，特别是在二元分类问题和多类分类问题中。它的数学形式取决于问题的性质，下面我将分别介绍二元分类和多类分类中的对数似然代价函数，并举例说明。

1. 二元分类问题中的对数似然代价函数：

   在二元分类问题中，我们通常有两个类别，标记为0和1。对数似然代价函数的数学形式如下：

   C = -[Σ(y * log(a) + (1 - y) * log(1 - a))] / n

   其中：

   • C 表示代价（损失）；
   • n 表示训练样本的数量；
   • y 表示期望的输出（标签），可以是0或1；
   • a 表示实际的输出（神经网络的预测），取值在0到1之间。

   该代价函数通过比较实际输出和期望输出的对数概率来度量模型的性能。它的目标是最小化代价函数，使得模型的预测更接近真实标签。

   例如，对于一个二元分类问题，你要预测一封电子邮件是否是垃圾邮件（1表示垃圾邮件，0表示不是垃圾邮件）。对数似然代价函数将比较你的模型的预测（a）和实际标签（y）的对数概率，然后通过计算所有样本的平均值来计算代价，最终目标是最小化代价以提高模型的分类性能。

2. 多类分类问题中的对数似然代价函数：

   在多类分类问题中，有多个类别，通常使用一种称为"Softmax"的激活函数来表示每个类别的概率。对数似然代价函数的数学形式如下：

   C = -ΣΣ(y_i * log(a_i)) / n

   其中：

   • C 表示代价（损失）；
   • n 表示训练样本的数量；
   • y_i 表示期望的输出概率分布，表示样本属于第 i 个类别的概率；
   • a_i 表示实际的输出概率分布，模型的预测。

   该代价函数用于衡量多类别分类问题中模型的性能。它的目标是最小化代价函数，使得模型的预测概率分布更接近真实的类别分布。

   例如，如果你要对图像进行多类别分类，例如识别手写数字（0 到 9），对数似然代价函数将帮助你优化神经网络模型，以便模型的输出更接近实际的数字分布。