Params and FLOPs

Params and FLOPs
目录

1.FLOPS、FLOPs和GFLOPs的辨析

2.参数量的计算

3.FLOPs的计算

1.FLOPS、FLOPs和GFLOPs的辨析
辨析：FLOPS、FLOPs和GFLOPs
- FLOPS：全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，可以理解为计算速度。是一个衡量硬件性能的指标
- FLOPs：s小写，是floating point operations的缩写（s表负数），意指浮点运算数，可以理解为计算量。用来衡量算法或模型的复杂度
- GFLOPs：1GFLOPs = $10^{9}$ FLOPs（10亿次）
2.参数量的计算

卷积层： $C_{out}\times (C_{in}\times K^{2}+1)$
其中， $C_{out}$ 代表输入的通道数， $C_{in}$ 代表输出的通道数， $K^{2}$ 为卷积核的大小，若卷积核有偏置项（Bias）则＋1，没有则不加。若卷积核为方形则。

简化为： $K^{2}\times C_{in}\times C_{out}$

BN层： $2C_{in}$

池化层：池化层不需要计算参数量

全连接层： $(C_{in}+1)\times C_{out}$

其中， $C_{in}$ 表示输入通道；K表示卷积核大小； $C_{out}$ 表示输出通道数。

3.FLOPs的计算

卷积层： $[C_{in}\times K^{2}+(C_{in}\times K^{2}-1)+1]\times H\times W\times C_{out}$

其中 $C_{in}\times K^{2}$ 为一次卷积的乘法预算的计算量， $C_{in}\times K^{2}-1$ 为一次卷积加法运算的计算量，+1为偏置项，W与H为输出特征图的长和宽。
可简化为： $2\times C_{in}\times K^{2}\times H\times W\times C_{out}$
计算机视觉中常把一次乘法和加法合在一起，所以可以去掉前面乘的2。

故为 $C_{in}\times K^{2}\times H\times W\times C_{out}$

池化层： $H\times W\times C_{in}$

全连接层： $[C_{in}+(C_{in}-1)+1]\times C_{out}=2\times C_{in}\times C_{out}$
(其中 $C_{in}$ 为一次乘法， $C_{in}-1$ 为一次加法，+1为加上一个偏置项)

其中， $C_{in}$ 表示输入通道；K表示卷积核大小；HW表示输出特征图尺寸； $C_{out}$ 表示输出通道数。

什么是MAC？

MAC（Memory Access Cost，内存访问成本），计算机在进行计算时要加载到缓存中，然后再计算，这个加载过程是需要时间的。其中，分组卷积是对MAC消耗比较多的操作
相关阅读:
Cocos Creator3.8 项目实战（九）2D UI DrawCall优化详解（下）
物联网开发笔记（53）- 使用Micropython开发ESP32开发板之蓝牙BLE通信
 Android AIDL跨进程通信基础（多端情况）
智慧公厕：探索未来公共厕所的创新设计
 基于springboot+vue的商城系统(电商平台)(前后端分离)
Bert and its family
pytorch JIT
跟着架构师学习大型网站架构的技术细节：前端架构需要解决的问题
 学信息系统项目管理师第4版系列14_沟通管理
 Oncommand解析代码
原文地址：https://blog.csdn.net/m0_45447650/article/details/125623507

1.FLOPS、FLOPs和GFLOPs的辨析

2.参数量的计算

3.FLOPs的计算