【神经网络与深度学习】概率神经网络PNN

总体概述

概率神经网络是一种神经网络模型，与传统的神经网络不同，它在模型设计和训练过程中引入了概率论的概念，以处理不确定性和随机性的数据。

PNN总体框架：

主要特点包括：

1. 概率建模： 采用概率分布来建模输入数据和模型参数之间的关系。它通常假设模型参数服从某种概率分布，并使用贝叶斯推断等方法来对参数进行估计。
2. 不确定性处理： 由于引入了概率分布，就能够有效地处理数据中的不确定性。它不仅可以输出单个预测值，还可以提供预测的不确定性信息，例如置信区间或后验概率分布。
3. 贝叶斯推断： 通常采用贝叶斯推断来进行模型参数的学习和预测。通过贝叶斯推断，可以在考虑先验知识的情况下，根据观测数据更新模型的后验分布。
4. 参数分布： 概率神经网络的模型参数不再是确定性的数值，而是参数的概率分布。这使得模型更加灵活，并且能够更好地适应不同的数据分布和应用场景。

概率神经网络的典型应用包括回归、分类、生成模型等任务。它在处理带有噪声、不完整数据或者需要考虑不确定性的场景下具有很好的效果。

Embedding层

Product层

l_z部分：product层左侧的 z 部分

数学表达：

理解：

l_p部分：product层右侧的 p 部分

数学表达：

理解：

未完。。。内容来源于以下视频：
PNN概率神经网络

优缺点

优点：

• 非线性建模能力强： PNN 是一种基于概率的神经网络，具有很强的非线性建模能力。它可以通过激活函数的非线性变换来逼近任意复杂的非线性函数关系，适用于各种复杂的分类和回归问题。

• 无需迭代训练： 在PNN中，模型的训练过程是一次性完成的，不需要像其他神经网络那样进行迭代训练。这样可以大大提高训练效率，减少了训练时间。

• 高效的分类速度： PNN在进行分类时，只需计算样本与每个类别的概率得分，并选择概率最高的类别作为分类结果。这种计算方式非常高效，适用于需要快速分类的场景。

缺点：

• 对数据量和维度敏感： PNN对于数据量和维度非常敏感。当数据量较小或者维度较高时，PNN容易出现过拟合问题，导致模型性能下降。

• 不适用于大规模数据集： 由于PNN在训练过程中需要计算样本之间的距离和相似度，因此在大规模数据集上的计算开销较大，不太适用于处理大规模数据。

• 参数选择困难： PNN有一些参数需要进行选择，如核宽度、正则化参数等。这些参数的选择对模型的性能有很大影响，但往往需要通过试验和经验来确定，缺乏统一的理论指导