yolov5剪枝实战2:网络剪枝原理介绍

1. 网络轻量化相关技术

在这里插入图片描述
网络轻量化的相关技术分类：1. 网络剪枝(Network pruning) 2. 稀疏表示(Sparse representation) 3. Bits precision(低比特表示，比如不用浮点型，使用int量化) 4. Kownledge distillation(知识蒸馏)

2. 网络剪枝

神经网络一般都是over-parameterized,也就是说网络参数一般是冗余的，超过解决任务所需要的权重数，所以针对冗余的权重和神经元就可以被剪枝掉。
在这里插入图片描述
这种思想也可以从人类自身的成长得到启示，比如小孩在出生不久它的突触密度是比较稀疏的，到6岁左右突触就比较密集。而在成长过程中，那些密集的突触反而又会变得稀疏，比如14岁左右它相对于6岁而言突触变得洗刷，然而对于人的思维反而是有利的，可以认为在人类成长过程中突触之间学到了更多有用的知识。

2. 1 剪枝的类型

权重剪枝(weight pruning)

对于网络的剪枝再什么样的颗粒度进行剪枝呢？，最小的颗粒度就是weight pruning, 在下图示意图中，在全连接的神经元之间都有相应的权重，我们如果可以将

相关阅读:
【附源码】计算机毕业设计SSM网上销售系统
【开源】Sentinel高性能高可用集群限流解决方案
剖析WPF模板机制的内部实现
【深度学习】ONNX模型多线程快速部署【基础】
20230904工作心得：集合应该如何优雅判空？
BP算法学习心得（反向传播算法）
python环境搭建
Redis Cluster 集群的介绍
Binary Number Encoding and Arithmetic
小米AI实验室最新研究论文收录于COLING 2022，介绍一种更有效的鲁棒性神经机器翻译训练方法...

原文地址：https://blog.csdn.net/weixin_38346042/article/details/127913917