sklearn笔记：调参

1 介绍

• 超参数是不直接在估计器中学习的参数。 在 scikit-learn 中，它们作为参数传递给估计器类的构造函数。 
• 需要搜索超参数空间以获得最佳交叉验证分数。

• scikit-learn 中提供了两种通用的参数搜索方法：
  • 对于给定的值，GridSearchCV 会详尽地考虑所有参数组合
  • RandomizedSearchCV 可以从具有指定分布的参数空间中采样给定数量的候选者。
  • 这两个工具都有连续的减半对应搜索方法 HalvingGridSearchCV 和 HalvingRandomSearchCV，它们可以更快地找到一个好的参数组合。

1.1 查找指定估计其的所有超参数

要查找给定估计器的所有参数的名称和当前值，需要使用get_params()

import numpy as np
from sklearn.svm import SVC
 
 
X = np.array([[-3, -7], [-2, -10], [1, 1], [2, 5]])
y = np.array([1, 1, 2, 2])
#数据部分
 
 
clf=SVC(kernel='linear')
clf.fit(X, y)
#fit数据
 
clf.get_params()
'''
{'C': 1.0,
 'break_ties': False,
 'cache_size': 200,
 'class_weight': None,
 'coef0': 0.0,
 'decision_function_shape': 'ovr',
 'degree': 3,
 'gamma': 'scale',
 'kernel': 'linear',
 'max_iter': -1,
 'probability': False,
 'random_state': None,
 'shrinking': True,
 'tol': 0.001,
 'verbose': False}
'''

2 Grid Search

• GridSearchCV 提供的网格搜索从 param_grid 参数指定的参数值网格中详尽地生成候选者。
• 例如，以下 param_grid 指定应探索两个网格：
  • 一个具有线性内核和 [1, 10, 100, 1000] 中的 C 值
  • 一个具有 RBF 内核，C 值的范围为 [1, 10, 100, 1000]，γ值的范围为 [0.001, 0.0001]。

param_grid = [
  {'C': [1, 10, 100, 1000], 'kernel': ['linear']},
  {'C': [1, 10, 100, 1000], 'gamma': [0.001, 0.0001], 'kernel': ['rbf']},
 ]

当“拟合”到数据集上时，所有可能的参数值组合都会被评估并保留最佳组合。

2.1 构造函数使用方法

class sklearn.model_selection.GridSearchCV(
    estimator, 
    param_grid, 
    *, 
    scoring=None,     
    n_jobs=None, 
    refit=True, 
    cv=None, 
    verbose=0, 
    pre_dispatch='2*n_jobs', 
    error_score=nan, 
    return_train_score=False)

2.1.1 主要参数说明

 2.1.2 举例

from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV
iris = datasets.load_iris()
parameters = {'kernel':('linear', 'rbf'), 'C':[1, 10]}
svc = svm.SVC()
clf = GridSearchCV(svc, parameters)
#对svc进行grid search，其中参数范围是parameters中的两两组合
 
clf.fit(iris.data, iris.target)
#将训练数据和label输入进去，进行拟合
 
import pandas as pd
pd.DataFrame(clf.cv_results_)

 2.1.3  类属性

 2.1.4 方法

3 Random Search

•  RandomizedSearchCV 实现了对参数的随机搜索，其中每个设置都是从可能的参数值的分布中采样的。

3.1 主要使用方法

class sklearn.model_selection.RandomizedSearchCV(
    estimator, 
    param_distributions, 
    *, 
    n_iter=10, 
    scoring=None, 
    n_jobs=None, 
    refit=True, 
    cv=None, 
    verbose=0, 
    pre_dispatch='2*n_jobs', 
    random_state=None, 
    error_score=nan, 
    return_train_score=False)

3.1.2 主要参数说明

 3.1.3 举例

from sklearn import svm, datasets
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform
 
iris = datasets.load_iris()
distributions = {'kernel':('linear', 'rbf'), 'C':uniform(loc=0, scale=400)}
svc = svm.SVC()
 
clf = RandomizedSearchCV(svc, distributions)
#对svc进行random search，其中参数是从distributions中的分布中随机选择的
clf.fit(iris.data, iris.target)
 
import pandas as pd
pd.DataFrame(clf.cv_results_)

 

3.1.4  类属性

 3.1.5方法