不是所有的模型都是在服务器上跑的。有时候我们需要将模型嵌入到设备中,这就需要一些轻量级的模型去适配这些算法和内存相对较小的设备上,因此轻量级模型应运而生。
卷积操作后大小计算 卷积与转置卷积——pytorch
LightViT: Towards Light-Weight Convolution-Free Vision Transformers
代码: https://github.com/hunto/LightViT
博文: 摒弃了卷积之后,我反而更强了?商汤等开源无卷积的轻量级ViT架构LightViT
mobilenetV3_large
largenetv3_small
耗时结构重整:
论文: MobileNetV2: Inverted Residuals and Linear Bottlenecks
Inverted Residual 倒残差结构, 两头channel小,中间channel大
使用Relu6
m
i
n
(
m
a
x
(
0
,
x
)
,
6
)
~~min(max(0, x), 6)
min(max(0,x),6)
某些bottleNet使用线性激活
模型架构:
模型讲解: MobileNet(V1,V2)网络详解_霹雳吧啦Wz
论文: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision
Applications
deepwise separable conv 深度可分离卷积,对每一个channel分别进行卷积
pointwise separable conv 使用1*1的卷积核
模型讲解: MobileNet(V1,V2)网络详解_霹雳吧啦Wz