【机器学习-周志华】学习笔记-第八章

记录第一遍没看懂的
记录觉得有用的
其他章节：
        第一章
        第三章
        第五章
        第六章
        第七章
        第八章
        第九章
        第十章
        十一章
        十二章
        十三章
        十四章
        十五章
        十六章

8.1 个体与集成

        这个式子指学习器有k=0到T/2个做对了的情况的概率加到一起的总概率

Boosting

        1.每一个样本点的预测误差的权重先设为1/m
        2.循环
        3.基学习算法在当前的样本D上，根据当前的样本分布得到当前的基学习器
        4.误差${ϵ}_t$是当前这个基学习器在训练集上的误差
        5.如果错误率大于0.5，说明太差了，不继续了
        6.如果小于0.5了，给当前的基学习器一个权重${\alpha }_t$（在公式8.9-8.11中推导）
        7.对于对的样本乘以一个小于1的数，对于做错的样本乘以大于1的数，这样是希望最后加起来权重还是等于1。这样得到新的分布了。

8.5 多样性

        学习器$h_i$的分歧：

$$\begin{array}{rl}\bar{A}& =\sum _{i=1}^T{w}_i(h_i(x)-H(x){)}^2\\ & =\sum _{i=1}^T{w}_i((h_i(x)-f(x))-(H(x)-f(x)){)}^2\\ & =\sum _{i=1}^T{w}_{i}E(h_i|x)-2\sum _{i=1}^T{w}_i(h_i(x)-f(x))(H(x)-f(x))+\sum _{i=1}^T{w}_{i}E(H|x)\\ & =\sum _{i=1}^T{w}_{i}E(h_i|x)-2(H(x)-f(x))(H(x)-f(x))+E(H|x)\\ & =\sum _{i=1}^T{w}_{i}E(h_i|x)-E(H|x)\\ & =\bar{E}-E\end{array}$$