【超参数研究02】使用随机搜索优化超参数

 一、说明

        在神经网络训练中，超参数也是需要优化的，然而在超参数较多（大于3个）后，如果用穷举的，或是通过经验约摸实现就显得费时费力，无论如何，这是需要研究、规范、整合的要点，本文对超参的随机性搜索展开研究。

二、超参数研究

       我在之前的超参数调优文章中提到了网格搜索。让我们从上次中断的地方继续。

        虽然网格搜索是用于超参数优化的强大工具，但它的计算成本可能很高，并且用于高维超参数空间不切实际。因为它使用参数网格的所有组合子集。

        随机搜索解决了这个问题。在随机搜索CV中，用户为模型的每个超参数定义值的分布。然后，该算法从这些分布中随机采样超参数，以创建一组超参数组合。例如，如果有三个范围为 [0.1、1.0]、[10， 100] 和 [1， 10] 的超参数，则算法可能会分别随机采样 0.4、75 和 5 的值，以创建超参数组合。

        当超参数的数量很大时，随机搜索比网格搜索更有效，因为它不需要评估超参数值的所有可能组合。通过随机采样超参数组合，随机搜索可以覆盖超参数空间的更广泛区域，有可能在比网格搜索更少的迭代中找到更好的超参数值。