AI_Neural Network_Note (二)

NN Predict

logistic regression

预测的过程其实只是based on 一个简单的逻辑回归logistic regression公式

z = dot(w,x) + b = (x1 * w1 + x2 * w2 + x3 * w3) + b

dot(a,b): 向量a和向量b的点积（内积）运算。
点积是两个向量的对应分量相乘，并将结果相加得到的标量值。

具体计算公式如下：

dot(a,b) = a1 * b1 + a2 * b2 + … + an * bn
其中，a1, a2, …, an为向量a的分量，b1, b2, …, bn为向量b的分量。

Param

• x: input eigenvector 输入特征向量

假设只有3个特征，那么x就可以用（x1，x2，x3）来表示。

• w: weight 权重

它对应于每个输入特征，代表了每个特征的重要程度

• b: threshold 阈值

用来影响预测结果

• z: result 预测结果

Application

假设周末即将到来，你听说在你的城市将会有一个音乐节
To predict 你是否会决定去参加

• 音乐节离地铁挺远
• 而且你女朋友想让你陪她宅在家里搞事情
• 但是天气预报说音乐节那天天气特别好。

Param

1. There are 3个因素会影响你的决定

3个因素 means 3个输入特征

2. 你的个人喜好 or 你对上面3个因素的重视程度, which will 影响你的决定

3个重视程度就是3个权重

如果你觉得地铁远近无所谓，并且已经精力衰竭不太想搞事情了，而且你很喜欢蓝天白云
那么, predict 会去音乐节。

Analysis Steps

假设:

• 结果z

大于0的话就表示会去，小于0表示不去

• 阈值b: -5
• 3个特征(x1,x2,x3)为(0,0,1)

最后一个是1，它代表了好天气

• 三个权重(w1,w2,w3)是(2,2,7)

最后一个是7表示你很喜欢好天气

那么:
z
= (x1 * w1 + x2 * w2 + x3 * w3) + b
= (0 * 2 + 0 * 2 + 1 * 7) + (-5)
= 2

预测结果z是2
2 > 0
所以预测会去音乐节。

activation function

在实际的神经网络中，不能直接用逻辑回归, 必须要在逻辑回归外面再套上一个激活函数。

sigmoid激活函数

公式 Formula

图像 Image

Application

• 把z映射到[0,1]之间

横坐标是z，纵坐标用y’表示
y’就代表了最终的预测结果。
从图像可以看出: z越大那么y’就越靠近1，z越小那么y’就越靠近0

那为什么要把预测结果映射到[0,1]之间呢？
因为
这样不仅便于神经网络进行计算，也便于我们人类进行理解。

例如:
在预测是否有猫的例子中，如果y’是0.8，就说明有80%的概率是有猫的。

Extension
其实在逻辑回归公式中，w其实应该写成w.T，因为实际运算中我们需要w的转置矩阵。

未完待续……