模型调参优化

模型超参数

参考链接：https://www.bilibili.com/video/BV1xw411q7cH/?buvid=XU0E30D0C6006B7F1EE1425156434CFEC440F&from_spmid=tm.recommend.0.0&is_story_h5=false&mid=fMtk7pz9LsVpSyGt0Mcizg%3D%3D&p=1&plat_id=116&share_from=ugc&share_medium=android&share_plat=android&share_session_id=76b9f3c1-5a5c-43ca-ae38-5d8f0fed8e15&share_source=WEIXIN&share_tag=s_i&spmid=united.player-video-detail.0.0×tamp=1698305198&unique_k=Oeuu46Z&up_id=431850986

一、概念

模型参数是模型内部的配置变量，需要用数据估计模型参数的值；模型超参数是模型外部的配置，需要手动设置超参数的值。

二、常见超参数

梯度下降法中的学习率a
决策树模型中树的深度d
正则化系数
等等。

三、常用调参方法

1、经验调参
优点：经验丰富的情况下，结果不错。
缺点：不能保证得到最佳的参数组合。
2、网络搜索
优点：可以得到最佳的参数组合。
缺点：运行时间过长。
3、随机搜索
优点：可以得到较好的效果。
缺点：不能保证得到最佳的参数组合。
4、贝叶斯优化
优点：比网络搜索耗时少。
缺点：增加搜索空间的维数需要更多的样本。
5、AutoML
优点：不用手动调参。
缺点：效果没有贝叶斯优化好。

四、小结

当数据清洗处理的比较好、特征工程分析得当后，模型调参效果才会更好。数据不好，模型调参后的效果还有改进的空间。