• 动手学深度学习(Pytorch版)代码实践 -深度学习基础-07多层感知机基础版


    07多层感知机基础版

    import torch
    from torch import nn
    from d2l import torch as d2l
    import liliPytorch as lp
    
    batch_size = 256
    train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
    
    #实现一个具有单隐藏层的多层感知机
    #输入层的神经元数量784,输出层的神经元数量10, 隐藏层的神经元数量256
    num_inputs, num_outputs, num_hiddens = 784, 10, 256
    
    #第一层
    """
    torch.randn初始化权重使用的是正态分布,可以有效打破对称性,
    让每个神经元学习不同的特征,从而提高网络的表达能力和训练效果。
    而使用全零或全一初始化会导致对称性问题,使得网络无法有效训练
    """
    
    W1 = nn.Parameter(#权重矩阵,形状为(784, 256),使用正态分布随机初始化
        torch.randn(num_inputs, num_hiddens, requires_grad=True) * 0.01
    )
    b1 = nn.Parameter(#偏置向量,初始化为全零,形状为(256)
        torch.zeros(num_hiddens,requires_grad=True) * 0.01
    )
    
    #第二层
    W2 = nn.Parameter(#权重矩阵,形状为(256, 10),使用正态分布随机初始化
        torch.randn(num_hiddens, num_outputs,requires_grad=True) * 0.01
    )
    b2 = nn.Parameter(#偏置向量,初始化为全零,形状为(10)
        torch.zeros(num_outputs, requires_grad=True) * 0.01
    )
    
    #包含所有网络参数的列表
    params = [W1, b1, W2, b2]
    
    #实现RelU激活函数
    def relu(X):
        a = torch.zeros_like(X)
        return torch.max(X,a)
    
    #实现我们的模型
    def net(X):
        #-1 表示自动推断批量大小。
        #X.reshape((-1, num_inputs)) 将输入 X 重塑为形状 (batch_size, num_inputs)
        X = X.reshape((-1, num_inputs))
        # @运算符进行矩阵乘法
        H = relu(X @ W1 + b1) # 隐藏层
        return (H @ W2 + b2)  # 输出层
    
    loss = nn.CrossEntropyLoss(reduction='none')
    
    num_epochs = 10
    updater = torch.optim.SGD(params, lr = 0.1)
    
    #训练
    lp.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
    
    #验证
    lp.predict_ch3(net, test_iter)
    d2l.plt.show() 
    

    运行结果:

    <Figure size 350x250 with 1 Axes>
    epoch: 1,train_loss: 1.049810703786214,train_acc: 0.6473166666666667,test_acc: 0.7147
    <Figure size 350x250 with 1 Axes>
    epoch: 2,train_loss: 0.5967115777969361,train_acc: 0.7906333333333333,test_acc: 0.8078
    <Figure size 350x250 with 1 Axes>
    epoch: 3,train_loss: 0.5182829195022584,train_acc: 0.8189833333333333,test_acc: 0.8115
    <Figure size 350x250 with 1 Axes>
    epoch: 4,train_loss: 0.48012483253479005,train_acc: 0.8311833333333334,test_acc: 0.8145
    <Figure size 350x250 with 1 Axes>
    epoch: 5,train_loss: 0.45687386004130043,train_acc: 0.8388166666666667,test_acc: 0.8265
    
  • 相关阅读:
    《运营之光3.0》全新上市——跨越时代,自我颠覆的诚意之作
    `英语` 2022/8/8
    大数据性能测试方案-V1.0
    LiveGBS流媒体平台GB/T28181常见问题-海康大华宇视硬件NVR摄像头通道0未获取到视频通道如何排查如何抓包分析
    网络面试-ox09 http是如何维持用户的状态?
    Android开发:Camera2+MediaRecorder录制视频后上传到阿里云VOD
    Python匿名函数
    保研笔记四 软件工程与计算卷二(8-12章)
    激发创意的10个国内外设计网站
    Docker 容器创建命令说明
  • 原文地址:https://blog.csdn.net/weixin_46560570/article/details/139778255