• 卷积网络识别乳腺癌

    ​
    ​

    活动地址：CSDN21天学习挑战赛

    目录

    1.跑通代码

    2.代码分析

    2.1

    2.2

    2.3

    2.4

    2.5

    2.6

    3.补充

    tensorflow零基础入门学习_重邮研究森的博客-CSDN博客_tensorflow 学习icon-default.png?t=M666https://blog.csdn.net/m0_60524373/article/details/124143223>- 本文为[365天深度学习训练营](https://mp.weixin.qq.com/s/k-vYaC8l7uxX51WoypLkTw) 中的学习记录博客
    >- 参考文章地址：(深度学习100例 | 第26天-卷积神经网络（CNN）：乳腺癌识别_K同学啊的博客-CSDN博客)

    本文开发环境：tensorflowgpu2.5

    1.跑通代码

    我这个人对于任何代码，我都会先去跑通之和才会去观看内容，哈哈哈，所以第一步我们先不管37=21，直接把博主的代码复制黏贴一份运行结果。（PS：做了一些修改，因为原文是jupyter，而我在pycharm）

    1. import tensorflow as tf
    2.  
    3. gpus = tf.config.list_physical_devices("GPU")
    4.  
    5. if gpus:
    6.     gpu0 = gpus[0]  # 如果有多个GPU，仅使用第0个GPU
    7.     tf.config.experimental.set_memory_growth(gpu0, True)  # 设置GPU显存用量按需使用
    8.     tf.config.set_visible_devices([gpu0], "GPU")
    9.  
    10. import matplotlib.pyplot as plt
    11. import os, PIL, pathlib
    12. import numpy as np
    13. import pandas as pd
    14. import warnings
    15. from tensorflow import keras
    16.  
    17. warnings.filterwarnings("ignore")  # 忽略警告信息
    18. plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
    19. plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
    20.  
    21. import pathlib
    22.  
    23. data_dir = "./data"
    24. data_dir = pathlib.Path(data_dir)
    25. image_count = len(list(data_dir.glob('*/*')))
    26. print("图片总数为：",image_count)
    27.  
    28. batch_size = 16
    29. img_height = 50
    30. img_width  = 50
    31.  
    32. """
    33. 关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
    34. """
    35. train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    36.     data_dir,
    37.     validation_split=0.2,
    38.     subset="training",
    39.     seed=12,
    40.     image_size=(img_height, img_width),
    41.     batch_size=batch_size)
    42.  
    43. """
    44. 关于image_dataset_from_directory()的详细介绍可以参考文章：https://mtyjkh.blog.csdn.net/article/details/117018789
    45. """
    46. val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    47.     data_dir,
    48.     validation_split=0.2,
    49.     subset="validation",
    50.     seed=12,
    51.     image_size=(img_height, img_width),
    52.     batch_size=batch_size)
    53.  
    54. class_names = train_ds.class_names
    55. print(class_names)
    56.  
    57. for image_batch, labels_batch in train_ds:
    58.     print(image_batch.shape)
    59.     print(labels_batch.shape)
    60.     break
    61.  
    62. AUTOTUNE = tf.data.AUTOTUNE
    63.  
    64. def train_preprocessing(image,label):
    65.     return (image/255.0,label)
    66.  
    67. train_ds = (
    68.     train_ds.cache()
    69.     .shuffle(1000)
    70.     .map(train_preprocessing)    # 这里可以设置预处理函数
    71. #     .batch(batch_size)           # 在image_dataset_from_directory处已经设置了batch_size
    72.     .prefetch(buffer_size=AUTOTUNE)
    73. )
    74.  
    75. val_ds = (
    76.     val_ds.cache()
    77.     .shuffle(1000)
    78.     .map(train_preprocessing)    # 这里可以设置预处理函数
    79. #     .batch(batch_size)         # 在image_dataset_from_directory处已经设置了batch_size
    80.     .prefetch(buffer_size=AUTOTUNE)
    81. )
    82.  
    83. plt.figure(figsize=(10, 8))  # 图形的宽为10高为5
    84. plt.suptitle("数据展示")
    85.  
    86. class_names = ["乳腺癌细胞","正常细胞"]
    87.  
    88. # for images, labels in train_ds.take(1):
    89. #     for i in range(15):
    90. #         plt.subplot(4, 5, i + 1)
    91. #         plt.xticks([])
    92. #         plt.yticks([])
    93. #         plt.grid(False)
    94. #
    95. #         # 显示图片
    96. #         plt.imshow(images[i])
    97. #         # 显示标签
    98. #         plt.xlabel(class_names[labels[i]-1])
    99. #
    100. # plt.show()
    101.  
    102. import tensorflow as tf
    103.  
    104. model = tf.keras.Sequential([
    105.     tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu",input_shape=[img_width, img_height, 3]),
    106.     tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    107.  
    108.     tf.keras.layers.MaxPooling2D((2,2)),
    109.     tf.keras.layers.Dropout(0.5),
    110.     tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    111.     tf.keras.layers.MaxPooling2D((2,2)),
    112.     tf.keras.layers.Conv2D(filters=16,kernel_size=(3,3),padding="same",activation="relu"),
    113.     tf.keras.layers.MaxPooling2D((2,2)),
    114.     tf.keras.layers.Flatten(),
    115.     tf.keras.layers.Dense(2, activation="softmax")
    116. ])
    117. model.summary()
    118.  
    119. model.compile(optimizer="adam",
    120.                 loss='sparse_categorical_crossentropy',
    121.                 metrics=['accuracy'])
    122. from tensorflow.keras.callbacks import ModelCheckpoint, Callback, EarlyStopping, ReduceLROnPlateau, LearningRateScheduler
    123.  
    124. NO_EPOCHS = 100
    125. PATIENCE  = 5
    126. VERBOSE   = 1
    127.  
    128. # 设置动态学习率
    129. annealer = LearningRateScheduler(lambda x: 1e-3 * 0.99 ** (x+NO_EPOCHS))
    130.  
    131. # 设置早停
    132. earlystopper = EarlyStopping(monitor='loss', patience=PATIENCE, verbose=VERBOSE)
    133.  
    134. #
    135. checkpointer = ModelCheckpoint('best_model.h5',
    136.                                 monitor='val_accuracy',
    137.                                 verbose=VERBOSE,
    138.                                 save_best_only=True,
    139.                                 save_weights_only=True)
    140. train_model  = model.fit(train_ds,
    141.                   epochs=NO_EPOCHS,
    142.                   verbose=1,
    143.                   validation_data=val_ds,
    144.                   callbacks=[earlystopper, checkpointer, annealer])
    145.  
    146. acc = train_model.history['accuracy']
    147. val_acc = train_model.history['val_accuracy']
    148.  
    149. loss = train_model.history['loss']
    150. val_loss = train_model.history['val_loss']
    151.  
    152. epochs_range = range(len(acc))
    153.  
    154. plt.figure(figsize=(12, 4))
    155. plt.subplot(1, 2, 1)
    156.  
    157. plt.plot(epochs_range, acc, label='Training Accuracy')
    158. plt.plot(epochs_range, val_acc, label='Validation Accuracy')
    159. plt.legend(loc='lower right')
    160. plt.title('Training and Validation Accuracy')
    161.  
    162. plt.subplot(1, 2, 2)
    163. plt.plot(epochs_range, loss, label='Training Loss')
    164. plt.plot(epochs_range, val_loss, label='Validation Loss')
    165. plt.legend(loc='upper right')
    166. plt.title('Training and Validation Loss')
    167. plt.show()
    168.  
    169. # 保存模型
    170. model.save('model/26_model.h5')

    点击pycharm即可运行出最后的预测结果！

    这里的结果是指网络模型的保存和损失函数这些的输出，对于模型的预测结果我们将在最后显示。

    2.代码分析

     神经网络的整个过程我分为如下六部分，而我们也会对这六部分进行逐部分分析。那么这6部分分别是：

    六步法：

    1->import

    2->train test（指定训练集的输入特征和标签）

    3->class MyModel(model) model=Mymodel（搭建网络结构，逐层描述网络）

    4->model.compile（选择哪种优化器，损失函数）

    5->model.fit（执行训练过程，输入训练集和测试集的特征+标签，batch，迭代次数）

    6->验证

    2.1

    导入：这里很容易理解，也就是导入本次实验内容所需要的各种库。在本案例中主要包括以下部分：

     蓝框1：

    设置电脑gpu工作，如果你的电脑没有gpu就不设置，或者你的gpu显存不够，训练时出问题了，那么就设在为cpu模式

    蓝框2：

    设置中文显示

    对于这里的话我们可以直接复制黏贴，当需要一些其他函数时，只需要添加对应的库文件即可。

    2.2

    设置训练集和测试集：对于神经网络的训练包括了两种数据集合，一个是训练集，一个是测试集。其中训练集数据较多，测试集较少，因为训练一个模型数据越多相对的模型更准确。

    本文中利用的数据集在文章下方，该数据集是一个乳腺癌细胞的彩色图像数据集合

    本文中数据集处理较为复杂，包括了随机数，显示图片，数据集设置等，我们将分别对代码进行解释。

    蓝框1：

    本文数据集和之前数字识别和服装识别利用的minist数据集不一样，是存在与本地文件夹中，因此这里数据集的调用方法也不一样。

    这里利用了文件夹函数，首先找到数据集的路径，然后通过函数设置路径文件夹，相当于图中的data_dir就是数据集了

    蓝框2：

    设置数据的尺寸格式

    蓝框1 ：

     这里就是设置训练集了。利用了image_dataset_from_directory()，很明显可以看出来，这是一个图像数据来自文件夹函数。而这个文件夹就是data_dir。

    该函数中的变量设置的意思如下：

    蓝框2：

    这里是吧训练集的标签打印出来，以及设置将要打印出来的图片的尺寸

      该部分主要是加速电脑训练的。也可以使用另外的写法，可以参考我的天气识别博客

    到这里，数据集的设置就结束了。我们可以发现相对于来说，代码多了很多，而这是因为数据集来源不一样，以及对于数据显示我们多显示了一下。但核心内容还是设置数据集

    2.3

    网络模型搭建：这里也是神经网络的重点了！废话不多说，直接开始！

    重点：

    现在我们来分析一下图片中经过每层后数据的维度怎么来的

    经过卷积层1之后，原数据50x50还是50x50是因为padding=same，保证了输入输出的维度一样，经过池化池pool之后，吃u才能减小一半是因为输出=输入/核大小

    其他的卷积层都是按照这个方式来计算的。如果你想看详细的计算过程，可以参考我的天气识别模型，那里模型简单一点，我把整个过程都分析了。

    实现天气彩色图像识别_重邮研究森的博客-CSDN博客icon-default.png?t=M666https://blog.csdn.net/m0_60524373/article/details/126153389

    到此，网络模型我们变分析完了。

    注意事项：我们发现这里的卷积层每一次的引入了激活函数，这是因为输入是彩色图像，引入激活函数可以更好的提取特征，而正是因为提取特征相对较多，我们又引入了防止过拟合。对于越复杂是数据越要引入激活函数，但是激活函数过多容易过拟合

    2.4

    该部分也同样重要，主要完成模型训练过程中的优化器，损失函数，准确率的设置。

    我们结合本文来看。

    蓝框1：

    对于这三个内容的含义可以参考我的文章开头的另外一篇基础博文进行了详细的介绍

    蓝框2：

     这里是设置相当于在训练模型时，如果第二轮训练结果比第一轮好，那么保留第二轮参数，如果第三轮训练比第二轮差，则还是保留第三轮参数，最后留下效果最好的那一个。

    2.5

    部分就是执行训练了，那么执行训练肯定需要设置训练集数据及其标签，测试集数据及其标签，训练的epoch

    2.6

    当训练执行完毕，我们就可以拿一个测试集合中或者其他满足格式的数据进行验证了

      这里就是绘制训练集和测试集的准确率和损失函数图像

     我们取测试集合图片进行验证（这里代码不在上面，是单独测试用的，我放到下面了）

    1. model = tf.keras.models.load_model('model/26_model.h5')
    2. plt.figure(figsize=(20, 10))
    3. for images, labels in val_ds.take(1):
    4.     images = images * 255
    5.     for i in range(batch_size):
    6.         ax = plt.subplot(5, 10, i + 1)
    7.         plt.imshow(images[i].numpy().astype("uint8"))
    8.  
    9.         img_array=tf.expand_dims(images[i],0)
    10.         predictions=model.predict(img_array)
    11.         plt.title(class_names[np.argmax(predictions)])
    12.         plt.axis("off")
    13. plt.show()

    3.补充

    今天引入一个新东西，可以方便我们进行查看测试集合。名字叫做混淆矩阵！

    话不多说，先上图。下图就是混淆矩阵画出来的预测值

      从上图中我们可以看出，预测和真实值清晰明了的放出来了，但是可惜我们这个本来模型准确率不敢苟同，所以效果差，但这不影响我们简单的使用，代码我放在下面了。

    1.  
    2. from sklearn.metrics import confusion_matrix
    3. import seaborn as sns
    4. import pandas as pd
    5.  
    6.  
    7. # 定义一个绘制混淆矩阵图的函数
    8. def plot_cm(labels, predictions):
    9.     # 生成混淆矩阵
    10.     conf_numpy = confusion_matrix(labels, predictions)
    11.     # 将矩阵转化为 DataFrame
    12.     conf_df = pd.DataFrame(conf_numpy, index=class_names, columns=class_names)
    13.  
    14.     plt.figure(figsize=(8, 7))
    15.  
    16.     sns.heatmap(conf_df, annot=True, fmt="d", cmap="BuPu")
    17.  
    18.     plt.title('混淆矩阵', fontsize=15)
    19.     plt.ylabel('真实值', fontsize=14)
    20.     plt.xlabel('预测值', fontsize=14)
    21. plt.show()
    22.  
    23. val_pre   = []
    24. val_label = []
    25.  
    26. for images, labels in val_ds:#这里可以取部分验证数据（.take(1)）生成混淆矩阵
    27.     for image, label in zip(images, labels):
    28.         # 需要给图片增加一个维度
    29.         img_array = tf.expand_dims(image, 0)
    30.         # 使用模型预测图片中的人物
    31.         prediction = model.predict(img_array)
    32.  
    33.         val_pre.append(class_names[np.argmax(prediction)])
    34.         val_label.append(class_names[label])
    35.  
    36. plot_cm(val_label, val_pre)
    37. plt.show()

    最后，再通过一部分代码进行数据验证，代码如下：

    1. from sklearn import metrics
    2.  
    3. def test_accuracy_report(model):
    4.     print(metrics.classification_report(val_label, val_pre, target_names=class_names)) 
    5.     score = model.evaluate(val_ds, verbose=0)
    6.     print('Loss function: %s, accuracy:' % score[0], score[1])
    7.     
    8. test_accuracy_report(model)

     

  • 相关阅读:
    快速入手node.js
    基于LLVM13 Enzyme 安装
    电商数仓笔记7_数据仓库系统（数仓搭建-DWD层，数仓搭建-DWS层，数仓搭建-DWT层，数仓搭建-ADS层）
    cors 跨域问题 git pages 前后端分离 vue nest 问题 解决+总结
    无代码的未来
    Mysql 慢查询日志
    【计算机考研408-计算机网络-奈氏准则】什么时候是理想低通信道、什么时候是理想带通信道？
    关于C++多态的详解
    制造业数字化转型峰会，云盒子带来先进制造业数据安全解决方案
    vue生命周期
  • 原文地址：https://blog.csdn.net/m0_60524373/article/details/126378280