学习规则—离线学习(岭回归)

离线学习(岭回归)

离线学习规则是机器学习领域最常见的学习规则。它包括梯度下降和线性回归，在储层计算领域，线性回归可能是最简单以及最常用的训练人工神经网络的方法

线性回归被称为离线学习，是因为线性回归模型的参数是在给定所有可用数据样本和所有可用目标值样本的情况下学习的，一旦模型学习完成，模型不使用整个数据集再次训练就无法更新。

具体的离线学习训练算法描述如下：

1.选择网络结构，确定输入层的维数Nv、输出层的维数Ny以及储层内部含有的节点个数Nr

2.初始化网络，设定Win的初始权值为（-0.1，0.1）的均匀分布。Wres的初始权重为（-1，1）的均匀分布

3.定义矩阵M和T，丢弃有可能造成网络的暂态值，当网络运行到时刻T0之后，再收集网络不同时刻的输入、内部状态和输出向量的合并，M与T存在线性关系：

4.通过加入岭回归算法的最小二乘法求解Wout：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7WKdZhjA-1656305405040)(https://raw.githubusercontent.com/theeeee6/test_clone/main/image-20220619220457026.png?token=ARUQ2MMMKNLNTENWVJZEFWTCXE3SC)]

其中lamata为避免过拟合而引入的正则化参数。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
网络训练的均方误差为：