06 逻辑回归

 年龄

 工资

 学历

 是否逾期

 20

 4000

 本

 1

 25

 5000

 专

 0

 21

 6000

 本

 0

 25

5000

 专

1

 28

 8000

 本

 0

 27

 7000

 本

 ？？？

凸函数

• 逻辑回归是凸函数

优化算法

• GD（Gradient Descent）

• SGD（Stochastic Gradient Descent）

举例

一元凸函数利用梯度下降法求解参数

梯度下降法求解逻辑回归的最优参数w,b

对W求导

对b求导

迭代更新，找到使得目标函数最小的w，b（即最优的w，b）

优化算法总结

GD（Gradient Descent）

SGD（Stochastic Gradient Descent）

混淆表

分类器预测的类别

军事

科技

实际

类别

军事（60）

50

10

科技（40）

5

35

军事

科技

精确率(Precision)

预测为某类，且实际也是某类的概率

50 /（50+5）

35/（10+35）

召回率(Recall)

实际是某类，且预测为某类的概率

50 /（50+10）

35 /（5 + 35）

# cat auc.raw | sort -t$'\t' -k2g |awk -F'\t' '($1==-1){++x;a+=y;}($1==1){++y;}END{print 1.0-a/(x*y);}'

• x*y：正负样本pair对

• a：错误的pair对

• a/x*y：错误的概率

• 1-a/x*y：正确的概率

Python

# 梯度下降（GD）

% python GD.py

# 随机梯度下降（SGD）

% python SGD.py

# 预测代码

% predict.py

Python

 # data

 # # music_meta [itemid, name, desc, total_timelen, location, tags] item 信息

 # # user_profile.data [userid, gender, age, salary, location] user 信息

 # # user_watch_pref.sml [userid, itemid, watch_len, hour] user关于item的行为

 # 将多个文件合并成一个文件

 % python gen_base.py

 # 产生模型数据

 % python gen_samples.py

 # 模型训练，并保存模型

 % python lr.py

 # 得到 真实值 T.txt 预测的概率 P.txt (其中，第一列是为0的概率，第二列是为1的概率)

 % python lr_auc.py

 # 取出 p.txt 的第二列, 预测为1的概率

 % cat P.txt| awk -F'\]' '{print $1}' | awk '{print $2}' > P_2.txt

 # 将T.txt 和 P_2.txt 粘贴在一起，输出auc.raw

 % paste T.txt P_2.txt > auc.raw

 # 评估auc

 % cat auc.raw | sort -t$'\t' -k2g |awk -F'\t' '($1==0){++x;a+=y;}($1==1){++y;}END{print 1.0-a/(x*y);}'

 # 评估 PR

 % python pr.py