• 深度神经网络之BiseNet


    标题:深度神经网络之BiseNet

    1.模型介绍

    BiseNet是一种用于实时语义分割的神经网络模型,由华为公司提出。它结合了全卷积网络和空间金字塔池化模块的优点,可以同时实现高效率和高精度的语义分割。

    BiseNet的核心思想是将图像分为两个部分:全局信息和局部信息。全局信息通过全卷积网络提取,可以捕捉到图像的整体特征。而局部信息则通过空间金字塔池化模块提取,可以捕捉到图像中不同尺度的细节特征。

    通过辅助损失函数监督模型的训练,通过主损失函数监督整个 BiSeNet 的输出。另外,还通过添加两个特殊的辅助损失函数监督 Context Path 的输出,就像多层监督一样。上述所有损失函数都是 Softmax。最后借助参数 α 以平衡主损失函数与辅助损失函数的权重。

    优势在哪呢?

    1. 空间路径Spatial Path使用较多的 Channel、较浅的网络来保留丰富的空间信息生成高分辨率特征
    2. 上下文路径Context Path使用较少的 Channel、较深的网络快速 downsample来获取充足的 Context。
    3. 基于这两路网络的输出,文中还设计了一个Feature Fusion Module(FFM)来融合两种特征。

    2.主要任务梳理
    数据集的处理:数据集的处理方式决定了模型的上限
    A.图像裁剪:Cityscapes数据集中的图像分辨率较高,可以通过裁剪来减小图像尺寸,加快训练速度。
    B.数据标准化:将图像像素值标准化到0到1之间,可以提高模型的训练效果。
    C.数据增强:可以通过旋转、翻转、缩放等方式增加训练数据量,提高模型的泛化能力。
    D.随机裁剪:随机裁剪可以增加训练数据量,并且可以避免模型过度拟合。在裁剪时,可以随机选择裁剪区域的大小和位置。
    E.随机翻转:随机翻转可以增加训练数据量,并且可以使模型更好地学习不同方向的特征。可以随机选择水平或垂直方向翻转。

    模型构建:采用多模块分层设计,尤其是对于损失函数的融合叠加比较关键

    模型训练:采用Intel提供的深度学习计算平台计算,同时利用Intel加速计算架构加速

    模型训练:
    运行
    $ export CUDA_VISIBLE_DEVICES=0,1
    $ torchrun --nproc_per_node=2 tools/train_amp.py --finetune-from ./res/model_final.pth --config ./configs/bisenetv2_city.py # or bisenetv1
    开始训练

    运行
    $ python tools/evaluate.py --config configs/bisenetv1_city.py --weight-path /path/to/your/weight.pth
    开始评估

    测试

    3.模型测试效果
    从图可以看出模型对于图像分割的效果是相当的不错,很清晰的能够看出物体的轮廓和边缘。

    4.具体收获
    1.掌握了BiseNet网络:
    在语义分割任务中具有高效率和高精度:BiseNet结合了全卷积网络和空间金字塔池化模块的优点,可以同时实现高效率和高精度的语义分割。

    2.掌握了Intel One APi:
    提高编程效率:Intel OneAPI提供了统一的编程接口和工具链,可以帮助开发者快速构建高性能应用,并且可以在不同的硬件平台上运行。
    提高应用性能:Intel OneAPI提供了针对不同硬件平台的优化库和工具,可以帮助开发者充分发挥硬件性能,提高应用性能。

    3.数据集的处理更加得心应手:
    能够对特定的数据集进行处理和分析,对于相关的特征处理也更加的得当。

  • 相关阅读:
    代码混淆和加固,保障应用程序的安全性
    2019年互联网高频Java面试题指南!互联网升职加薪方案!
    C语言航路外传之如何隐藏代码及声明和定义的在工程中真正的使用场景
    【Java集合框架】14——LinkedHashSet 类
    Java学习笔记6.3.1 文件操作 - File类
    浅谈IT运维-服务目录
    C学生数据库_将链表保存进数据库
    15.cuBLAS开发指南中文版--cuBLAS中的Level-1函数rotg()
    反射&注释API
    防火墙 (五十四)
  • 原文地址:https://blog.csdn.net/qq_36968562/article/details/132678127