Pipeline 问题处理

【相关推荐】

• 这篇博客: Python实现机器学习的流程（pipeline）--分类和回归问题中的 六、模型改进 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  
  1. K折交叉验证：通过分割数据集为K份，每次保留其中1份，使用其余K-1份进行训练模型，训练K次取其指标的平均值作为最终的值，因此K折交叉验证又称为留一交叉验证。

  '''S-fold cross validation''' 
  def cross_valid(classifier):
      num_folds = 3   # 3折
      accuracy_values = cross_val_score(classifier,\
              X, y, scoring='accuracy', cv=num_folds)
      print("Accuracy: " + str(round(100*accuracy_values.mean(), 2)) + "%")
  
      precision_values = cross_val_score(classifier,\
              X, y, scoring='precision_weighted', cv=num_folds)
      print("Precision: " + str(round(100*precision_values.mean(), 2)) + "%")
  
      recall_values = cross_val_score(classifier,\
              X, y, scoring='recall_weighted', cv=num_folds)
      print("Recall: " + str(round(100*recall_values.mean(), 2)) + "%")
  
      f1_values = cross_val_score(classifier,\
              X, y, scoring='f1_weighted', cv=num_folds)
      print("F1: " + str(round(100*f1_values.mean(), 2)) + "%")
  
  cross_valid(clf)
  

  1. 调节超参数

     通过拟合不同超参数时的模型，选出最优的模型

     # 对k近邻的 邻近参数的调节
     '''Error plot against K values '''
     error = []
     # Calculating error for K values between 1 and 40
     for i in range(1, 41):
         knn = KNeighborsClassifier(n_neighbors=i)
         _ = knn.fit(X_train, y_train)
         y_pred_i = knn.predict(X_test)
         error.append(np.mean(y_pred_i != y_test))
     
     def plot_k(error):
         plt.figure(1)
         plt.plot(range(1, 41), error, color='red',
             linestyle='dashed', marker='o',
             markerfacecolor='blue', markersize=10)
         plt.title('Error Rate vs K Value')
         plt.xlabel('K Value')
         plt.ylabel('Mean Error')
     plot_k(error)