pytorh终端化部署(C++)

模型量化

PyTorch对量化的支持目前有如下三种方式：
Post Training Dynamic Quantization，模型训练完毕后的动态量化；
Post Training Static Quantization，模型训练完毕后的静态量化；
QAT（Quantization Aware Training），模型训练中开启量化。

pytorch量化
Quantization

保存加载INT8模型
量化、保存、加载

动态量化函数torch.quantization.quantize_dynamic
模型各层的量化详解
神经网络量化入门

Torchscript

torchscript是一种从pytorch转化到可序列化和可优化模型的方法，任何模型都可以在python进程中保存成script格式，并且加载进不依赖python的进程中去。

详细讲解
troch.jit.trace
troch.jit.script

torchscript概述以及如何实现转化

libtorch 教程

教程一

深度学习推理结构

NCNN、ONNX、TensorRT、libtorch
主流推理架构详解