【计算机视觉40例】案例25：风格迁移

风格迁移（Style Transfer）是指将一张图片（风格图）中的风格、纹理迁移到另一张图片（内容图），同时要保留内容图原有主体结构。简单来说，就是把一张普通的照片变换成某个绘画大师（如毕加索、梵高等）的作品风格。

风格迁移实现在保留原有作品主体结构的基础上，将绘画大师的风格迁移到普通作品上。例如，图1中对左侧的作品进行风格迁移后得到了右侧的图像。

 

图1 风格迁移示例

OpenCV DNN使用的风格迁移模型来自于斯坦福大学李飞飞团队的研究成果，其网络结构如图2所示，包括一个图像转换网络和一个损失网络。图像转换网络是一个深度残差网络，对输入图像进行风格变换，并将其映射成输出图像。

损失网络中，用一个预训练好的用于图像分类的网络来定义损失函数。损失网络定义两个感知损失函数，分别是：

1. 内容（特征）损失：衡量内容上的差距。目的在于让转换网络的输出非常地接近目标图像，但是又让他们不是完全匹配。
2. 风格损失：衡量风格上的差距。目的在于惩罚风格上的偏离，如输出图像在颜色，纹理，共同的模式等方面与目标图像的差异。

 

图2 风格迁移模型的网络结构

核心代码如下：

#========加载模型、推理=============
# 加载模型
net = cv2.dnn.readNetFromTorch('model\eccv16\starry_night.t7')
# net = cv2.dnn.readNetFromTorch('model\instance_norm\mosaic.t7')
blob = cv2.dnn.blobFromImage(image, 1.0, (W, H), (0, 0, 0), swapRB=False, crop=False)
# 推理
net.setInput(blob)
out = net.forward()
print(out)
# out是四维的：B*C*H*W
# B,batch图像数量（通常为1），C：channels通道数，H：height高度、W：width宽度
# ======输出处理=========
# 重塑形状(忽略第1维)，4维变3维
# 调整输出out的形状,模型推理输出out是四维BCHW形式的，调整为三维CHW形式
out = out.reshape(out.shape[1], out.shape[2], out.shape[3])
# 将输出进行归一化处理
cv2.normalize(out, out,alpha=0.0, beta=1.0, norm_type=cv2.NORM_MINMAX)
# out /= 255 # 修正后，数学运算也可以
# （通道,高度,宽度）转化为（高度,宽度,通道）
result = out.transpose(1, 2, 0)

运行程序，显示如图3所示，其中：

1. 左侧是原始图像；
2. 中间是梵高画作《星空》；
3. 右侧是采用梵高《星空》风格模型处理的原始图像的输出效果（请自己运行代码以观察彩色效果）。

 

图3  输出结果

欢迎大家阅读《计算机视觉40例——从入门到深度学习（OpenCV-Python）》一书中第24章《深度学习应用实践》获取详细内容。

《计算机视觉40例——从入门到深度学习（OpenCV-Python）》在介绍Python基础、OpenCV基础、计算机视觉理论基础、深度学习理论的基础上，介绍了计算机视觉领域内具有代表性的40个典型案例。这些案例中，既有传统的案例（数字识别、答题卡识别、物体计数、缺陷检测、手势识别、隐身术、以图搜图、车牌识别、图像加密、指纹识别等），也有深度学习案例（图像分类、风格迁移、姿势识别、实例分割等），还有人脸识别方面的案例（表情识别、驾驶员疲劳监测、识别性别与年龄等）。