手写 AI 推出的全新 TensorRT 模型量化实战课程,链接。记录下个人学习笔记,仅供自己参考。
该实战课程主要基于手写 AI 的 Latte 老师所出的 TensorRT下的模型量化,在其课程的基础上,所整理出的一些实战应用。
本次课程为 YOLOv7 量化实战第四课,主要介绍 YOLOv7-QAT 量化
课程大纲可看下面的思维导图
我们在之前的内容中完成了 PTQ 量化整个的流程和代码的编写工作,PTQ 流程大致可以分为两个
一个是没有经过敏感层分析的流程:模型&数据加载 ➡ 手动/自动插入 QDQ ➡ 标定 ➡ 导出 PTQ
另一个是有经过敏感层分析的流程:模型&数据加载 ➡ 手动/自动插入 QDQ ➡ 标定 ➡ 敏感层分析 ➡ 关闭敏感层量化 ➡ 导出 PTQ
而 QAT 与 PTQ 量化的最大区别是多了 Fintune,QAT 的流程是:模型&数据加载 ➡ 手动/自动插入 QDQ ➡ 标定 ➡ 敏感层分析 ➡ 关闭敏感层量化 ➡ 导出 PTQ ➡ Finetune ➡ 导出 QAT
下面我们就根据上面 QAT 的流程来编写代码,完成 QAT 量化工作的实现
To be continue…