机器学习（一）——递归特征消除法实现SVM（matlab）

机器学习方法对多维特征数据进行分类：本文用到非常经典的机器学习方法，使用递归特征消除进行特征选择，使用支持向量机构建分类模型，使用留一交叉验证的方法来评判模型的性能。
构建模型：支持向量机（Support Vector Machine，SVM）；
特征选择：递归特征消除(Recursive Feature Elimination，RFE)；
交叉验证：留一交叉验证（Leave one out cross validation，LOOCV）。
下面本问将逐一开始介绍这些方法。

支持向量机
适用场景：
1、只能用于2分类任务
2、目的是寻找一个超平面来对样本进行分割
3、注意：构建超平面不一定用到所有样本，只用到距离超平面最近的那些样本
模型调参：
1、当样本之间线性可分时，选用线性核函数（linear kernel）构建分类模型。
2、当模型线性不可分时候，需要适用非线性核函数（rbf，Gaussian，Polynomial）将数据分布映射到更高维的空间中来构建超平面，进而来构建分类模型。
3、选择哪种核函数，一般通过改变核函数来比较模型的分类性能来确定。matlab中自带的核函数只有四种，如果需要使用其他核函数请自行下载相关软件包。

递归特征消除
作用：
1、降低特征维度
2、选择最优的特征组合，使模型达到最好的分类效果（类似于贪心算法）。
步骤：
1、对于一个具有n维特征的数据集合，首先用n维特征构建SVM分类器模型，通过交叉验证的方法计算模型的分类准确性。
2、从当前特征集合中依次移除每一个特征，然后用剩下特征构建分类模型，使用交叉验证的方法计算特征移除后的分类准确率。
3、若某特征移除后模型的分类准确率反而上升，则该特征对分类模型没有贡献度，则将该特征移除，剩下特征作为保留特征。
4、使用剩下特征重复步骤2，直到所有的特征子集为空后便可以得到n个模型，选择分类准确率最高的特征集合作为最优的特征集合。

留一交叉验证
适用场景：
小样本构建分类模型，当样本量很小时，不足以区分单独的训练集和测试集时，通常使用这种方法。该方法的基本思想就是，当有n个样本的情况下，依次保留其中1个样本，用剩下n-1个样本构建分类模型，用保留的样本进行测试。这样就可以得到n个模型，计算这n个模型分类结果的平均值就可以得到在该数据分布情况下，使用某种分类方法构建分类模型的性能。

matlab实现的代码如下：

labels = res(:, 1);
features = res(:, 2:end);
features=zscore(features);%特征进行归一化
% 加载数据集并准备标签和特征数组
[num_samples, num_features] = size(features);

selected_indices = 1:num_features; % 初始选定所有特征的索引
selected_features_history = cell(num_features, num_features); % 存储选定的特征历史记录  
accuracy_history = zeros(num_features, num_features); % 存储准确率历史记录    
feature_to_remove = -1;

% 开始逐步特征选择
for i = 1:num_features
    best_accuracy = 0;
    temp_indices = selected_indices; % 创建临时特征索引列表
    
    % 对每个特征进行评估
    for j = 1:length(temp_indices)
        features_subset = temp_indices(temp_indices ~= j);%去除特征后输入分类器的特征
        [num1,num2]=size(features_subset);
        % 使用留一交叉验证评估SVM分类器性能
        accuracy = 0;
        for k = 1:num_samples
            % 留一样本作为验证集，其余样本作为训练集
            train_features = features(:, features_subset);
            train_features(k, :) = []; % 删除验证样本的特征
            train_labels = labels;
            train_labels(k) = []; % 删除验证样本的标签
            test_feature = features(k, features_subset);
            test_label = labels(k);
            
            % 训练SVM模型
            svm_model = fitcsvm(train_features, train_labels, 'KernelFunction', 'linear');
            
            % 在验证集上进行预测并计算准确率
            predicted_label = predict(svm_model, test_feature);
            if predicted_label == test_label
                accuracy = accuracy + 1;
            end
        end
        accuracy = accuracy / num_samples; % 计算准确率
        accuracy_history(i,j)=accuracy;   %将每次分类的准确率存到一个数组中
        selected_features_history{i,j} = features_subset;%将每次分类用到的特征存到一个数组里
        %temp_indices

        % 如果当前特征组合的准确率更高，则更新最佳特征及其对应的准确率
        if (accuracy_history(i,j) > best_accuracy)
           
            best_accuracy = accuracy_history(i,j);
            feature_to_remove = temp_indices(j);
        end
        
    end



    
    % 删除性能下降最快的特征
    selected_indices = selected_indices(selected_indices ~= feature_to_remove);
   % selected_features_history{i} = selected_indices; % 更新选定的特征历史记录
%     accuracy_history(i) = best_accuracy; % 更新准确率历史记录
    disp(['Removed feature index: ', num2str(feature_to_remove)]);
end


[max_value, max_index] = max(accuracy_history(:));

% max_value 将是数组中的最大值
% max_index 将是数组中最大值所在的位置（线性索引）
[row, col] = ind2sub(size(accuracy_history), max_index);

% row 和 col 将是数组中最大值的行和列索引


% 输出最终选定的特征索引
% disp('最优的分类准确性为');
% disp(max_value);

disp('对应的选择的特征索引为：');
disp(selected_features_history{row,col});


%利用选出来的特征重新建模求准确率
features_new=features(:,selected_features_history{row,col});
%features_new=features;
% lables是样本标签
predictedScores=zeros(56,2);

accuracy_new=0;
        for k = 1:num_samples
            % 留一样本作为验证集，其余样本作为训练集
            train_features = features_new(:,:);
            train_features(k, :) = []; % 删除验证样本的特征
            train_labels = labels;
            train_labels(k) = []; % 删除验证样本的标签
            test_feature = features_new(k,:);
            test_label = labels(k);
            
            % 训练SVM模型
            svm_model = fitcsvm(train_features, train_labels, 'KernelFunction', 'linear');
            
            % 在验证集上进行预测并计算准确率
           % predicted_label = predict(svm_model, test_feature);
            [predicted_label,predictedScore] = predict(svm_model, test_feature);
            predictedScores(k,:)=predictedScore;
            if predicted_label == test_label
                accuracy_new = accuracy_new + 1;
            end
        end
        accuracy_new = accuracy_new / num_samples; % 计算准确率


% 输出最终选定的特征索引
disp('最优的分类准确性为');
disp(accuracy_new);```