12.optimizer优化器和evaluate评估

目录

Optimizer

卷积层

evaluating model评估模型

线性模型

分类

---

Optimizer

        梯度下降是一种使用广泛的机器学习的优化，是类似于线性回归和逻辑回归这些算法的基础(foundation)。

         如左图，寻找最小点时，在一个方向上前进，如果我们在这个方向上，拥有一个更大ALPHA，前进的步调可以更大一点；如右图，我们的ALPHA可以更小点。“Adam”算法可以实现。

        同一个模型不同参数，也会有不同的ALPHA。

卷积层

 

         对于输入数据，每个神经元对应的输入数据可能不同。

evaluating model评估模型

         对于一个例子，我们如何评价它。

        先把数据集划分为训练集和测试集。我们需要在训练集上训练模型参数，然后在测试集上测试模型性能。

线性模型

        J中最后一项是正则化项。mtrain和mtest是train和test的样本数量。

        因为模型在训练集上完美拟合每一个训练数据，则Jtrain会接近于0。用测试集后，测试集数据就不会很好拟合，这使得Jtest很大。

分类

另一种评估方式：

 

         评估数据错误分类的数量