第P6周—好莱坞明星识别（1）

一、 前期工作

import torch
import torch.nn as nn
import torchvision.transforms as transforms
import torchvision 
from torchvision import transforms,datasets
import os ,PIL,pathlib,warnings 
 
warnings.filterwarnings("ignore")
 
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
print(device)
 
import os,PIL,random,pathlib
 
data_dir = 'D:/P6/48-data/'
data_dir = pathlib.Path(data_dir)
 
data_path = list(data_dir.glob('*'))
print (data_path)
classname = [str(path).split("\\")[3]  for path in data_path]
print(classname)

二、数据预处理 

2.1 通过图片随机抽样计算 tansforms.Normalize()中红绿蓝通道均值和标准差（以下代码需在独立py文件中运行）

将"D:/P6/48-data/"路径下子文件夹中所有图片复制到D:/all文件夹中

import os
import shutil
 
# 主数据集根目录
dataset_root = "D:/P6/48-data/"
 
# 新文件夹的路径
output_dir = "D:/all/"
 
# 创建新文件夹（如果不存在）
os.makedirs(output_dir, exist_ok=True)
 
# 遍历主目录下的每个子文件夹
for root, dirs, files in os.walk(dataset_root):
    for filename in files:
        if filename.endswith(('.jpg', '.jpeg', '.png', '.bmp')):  # 过滤出图片文件
            image_path = os.path.join(root, filename)
            output_path = os.path.join(output_dir, filename)
 
            # 复制图片文件到新文件夹
            shutil.copy2(image_path, output_path)
 
print("图片已复制到新文件夹 'all' 中：", output_dir)

对all文件夹中图片随机抽样并计算红绿蓝色道均值和标准差

import os
import random
import cv2
import numpy as np
 
# 数据集根目录
dataset_root = "D:/all/"
 
# 采样比例
sample_ratio = 0.1  # 10% 的采样率
 
# 随机选择一部分图片进行采样
all_image_paths = [os.path.join(dataset_root, filename) for filename in os.listdir(dataset_root)]
sample_size = int(len(all_image_paths) * sample_ratio)
sampled_image_paths = random.sample(all_image_paths, sample_size)
 
# 初始化通道像素值总和和像素数量
total_mean = np.zeros(3)
total_std = np.zeros(3)
total_pixels = 0
 
# 遍历采样图片并计算通道的均值和标准差
for image_path in sampled_image_paths:
    image = cv2.imread(image_path)
    image = image.astype(np.float32) / 255.0  # 归一化到 [0, 1]
 
    total_mean += image.mean(axis=(0, 1))
    total_std += image.std(axis=(0, 1))
    total_pixels += image.size // 3  # 3 通道的像素数量
 
# 计算平均值和标准差
dataset_mean = total_mean / len(sampled_image_paths)
dataset_std = total_std / len(sampled_image_paths)
 
print("均值：", dataset_mean)
print("标准差：", dataset_std)

2.2 样本标准化归一化处理

train_transforms = transforms.Compose([
    transforms.Resize([224,224]),
    transforms.ToTensor(),
    transforms.Normalize(
        mean = [0.39354826, 0.41713402, 0.48036146],
        std = [0.25076334, 0.25809455, 0.28359835]
    )
])
 
 
total_data = datasets.ImageFolder("D:/P6/48-data/", transform = train_transforms)
print (total_data)

在上述代码中，total_data = datasets.ImageFolder("D:/P6/48-data/", transform = train_transforms) 的作用是 对位于 "D:/P6/48-data/" 目录下的图像数据应用 train_transforms 中定义的数据进行转换。 目的是对训练数据进行预处理和数据增强，以提高深度学习模型的性能和泛化能力。

 2.3 将数据集中的类别（或标签）映射到相应的整数索引

print(total_data.class_to_idx)

三、划分数据集

3.1 划分数据集

train_size = int(0.8*len(total_data))
test_size = len(total_data) - train_size
train_dataset, test_dataset  = torch.utils.data.random_split(total_data,[train_size, test_size])
print(train_dataset,test_dataset)

3.2 设置数据加载器

batch_size = 32
train_dl =torch.utils.data.DataLoader(train_dataset,
                                    batch_size = batch_size,
                                    shuffle = True,
                                    num_workers = 1)
 
test_dl =torch.utils.data.DataLoader(test_dataset,
                                    batch_size = batch_size,
                                    shuffle = True,
                                    num_workers = 1)
#当 shuffle=True 时：数据加载器会在每个训练周期之前对数据进行随机洗牌。
# 这意味着每个周期都会以随机顺序提供数据样本，这有助于模型更好地学习数据的分布，
# 减少模型对特定顺序的依赖。这通常是在训练深度学习模型时推荐的做法，
# 特别是当数据集的样本顺序可能影响模型的训练效果时。

四、调用VGG-16模型

from torchvision.models import vgg16
 
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print("Using {} device\n".format(device))
    
''' 调用官方的VGG-16模型 '''
# 加载预训练模型，并且对模型进行微调
model = vgg16(pretrained = True).to(device)  # 加载预训练的vgg16模型
for param in model.parameters():
    param.requires_grad = False # 冻结模型的参数，这样子在训练的时候只训练最后一层的参数
# 修改classifier模块的第6层（即：(6): Linear(in_features=4096, out_features=2, bias=True)）
# 注意查看我们下方打印出来的模型
model.classifier._modules['6'] = nn.Linear(4096, 17) # 修改vgg16模型中最后一层全连接层，输出目标类别个数
model.to(device)
 
print(model)