PaddlePaddle----基于paddlehub的OCR识别

Paddlehub介绍

        PaddleHub是一个基于PaddlePaddle深度学习框架开发的预训练模型库和工具集，提供了丰富的功能和模型，包括但不限于以下几种：

1.文本相关功能：包括文本分类、情感分析、文本生成、文本相似度计算等预训练模型和工具。

2.图像相关功能：包括图像分类、目标检测、人脸识别、图像生成等任务的预训练模型和工具。

3.视频相关功能：包括视频分类、视频目标检测、视频行为识别等任务的预训练模型和工具。

4.语音相关功能：包括语音识别、语音合成、语音情感分析等任务的预训练模型和工具。

5.推荐系统相关功能：包括推荐模型、召回模型等预训练模型和工具。

6.自然语言处理相关功能：包括词向量、句向量、文本匹配、关键词提取等预训练模型和工具。

7.多模态相关功能：包括图文匹配、文图生成等多模态任务的预训练模型和工具。

        除了以上列举的功能外，PaddleHub还提供了模型管理、模型训练、模型部署等功能，方便用户快速部署和使用深度学习模型。用户可以通过PaddleHub轻松实现各种深度学习任务，加速模型开发和部署过程。

Paddlehub的OCR环境搭建

        搭建环境的时候有两点需要注意:

1. paddlepaddle和paddlehub的版本要匹配起来
2. 需要安装隐形的依赖库(如下)

#需要将PaddleHub和PaddlePaddle统一升级到2.0版本
!pip install paddlehub==2.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple  
!pip install paddlepaddle==2.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple  
#该Module依赖于第三方库shapely、pyclipper，使用该Module之前，请先安装shapely、pyclipper 
!pip install shapely -i https://pypi.tuna.tsinghua.edu.cn/simple  
!pip install pyclipper -i https://pypi.tuna.tsinghua.edu.cn/simple 

这里我介绍一下我本机电脑的相关环境：

系统：windows10 企业版(无独立显卡)

编译器：python 3.6.8(X64)

依赖包：

numpy 1.16.4

pandas 0.21.1

scipy 1.2.2

opencv-python 3.4.2.16

paddlepaddle 1.8.4

paddlehub 1.8.2

Shapely  1.7.1

pyclipper 1.2.0

OCR介绍

        光学字符识别（Optical Character Recognition, OCR）是指对文本材料的图像文件进行分析识别处理，以获取文字和版本信息的过程。也就是说将图象中的文字进行识别，并返回文本形式的内容。例如（该预测效果基于PaddleHub一键OCR中文识别效果展示）：

识别网络图如下：

 典型的OCR技术路线如下图所示：

        其中OCR识别的关键路径在于文字检测和文本识别部分，这也是深度学习技术可以充分发挥功效的地方。PaddleHub为大家开源的预训练模型的网络结构是Differentiable Binarization+ CRNN，基于icdar2015数据集下进行的训练。

环境测试

        下面用一段简单的代码来测试一下环境是否安装成功，该代码段功能主要是来检测图像中的文字区域，需要注意的是，你应该提前准备好一张图片“fp.png”和代码在同一个目录中。

import paddlehub as hub
import cv2
 
text_detector = hub.Module(name="chinese_text_detection_db_server")
result = text_detector.detect_text(images=[cv2.imread('fp.png')])
print(result)

输出：

 提示: 第一次运行的时候需要联网下载相应的模型，否则会报错。我的因为模型下载完毕，所以提示无需安装。

OCR识别

# -*- coding = 'utf-8' -*-
# 测试OCR安装环境
 
import paddlehub as hub
import cv2
import time
 
file = r'fp.png'
t1 = time.time()
#ocr = hub.Module(name="chinese_ocr_db_crnn_server")
ocr = hub.Module(name="chinese_ocr_db_crnn_mobile")
result_list = []
image = cv2.imread(file)
#print(image)
#image = image[440:550,170:290]
#image = cv2.resize(image,[300,300])
#cv2.imwrite('./2.jpg', image)
t2 = time.time()
results = ocr.recognize_text(
        images=[image],  # 图片数据，ndarray.shape 为 [H, W, C]，BGR格式；
        use_gpu=False,  # 是否使用 GPU；若使用GPU，请先设置CUDA_VISIBLE_DEVICES环境变量
        visualization=True,  # 是否将识别结果保存为图片文件；
        box_thresh=0.5,  # 检测文本框置信度的阈值；
        text_thresh=0.5)  # 识别中文文本置信度的阈值；
for result in results:
    data = result['data']
    for index, infomation in enumerate(data):
        result_list.append(infomation['text'])
#print(result_list)
t3 = time.time()
print(results, t2-t1,t3-t2)