tf-lite转换记录

基于tensorflow 2.4.1-gpu版本实现的

1. 先实现tensorflow的模型，然后用

model=ASR_LSTM()
tf.saved_model.save(model, checkpoint_path)
1
2

2. 在checkpoint_path生成saved_model.pb的模型
3. 使用tf-lite加载，进行量化
   量化范围指定

import tensorflow as tf
import sys 

saved_model_dir = sys.argv[1]
tf_lite_model = sys.argv[2]  # converted_model.tflite

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_model = converter.convert()
open(tf_lite_model, "wb").write(tflite_quant_model)
1
2
3
4
5
6
7
8
9
10

4. tf-lite实现前向，和tensorflow的结果进行对比
5. tf-lite的模型可以用训练数据再finetune一下，便于根据上下限更好的进行参数量化