GAN的研究和应用在这几年发展可以说是非常迅猛,无疑是这几年深度学习计算机视觉领域里落地性最酷的技术,包括图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升等。
GAN最早期也是最经典的任务,就是高质量图像生成,当前已经可以生成1024分辨率以上的高清逼真图像,如下图生成了一些假明星脸。
图像翻译与风格化则是另外一个应用极其广泛的领域,因为从图像到图像的任务都可以称之为图像翻译任务,如经典的图像分割/边缘检测,图像超分辨率/图像风格化。随着生成对抗网络技术的成熟,我们可以将其用于各类图像翻译任务,常见的包括黑白图像上色,线稿上色,风格迁移,人脸风格化等任务。
如今基于GAN还可以实现一些非常有趣的应用,比如人脸的各种属性编辑。
最新的人脸换脸等技术被广泛应用于影视剧内容创作,如网络电视剧《风声》中周一围换脸赵立新。
纵观整个CV领域,做GAN算法的从业者其实非常少,做得好的就更少了,下面是比较典型的对GAN方向的岗位需求。
学好GAN算法,对于计算机视觉领域从业,自然是不会错的。我们公众号输出过非常多的GAN相关资源,本次做一个简单汇总,平台已有的GAN资源包括几十篇理论与实战技术文章,免费与付费的视频课,知识星球中的GAN模型原理解读专题。
GAN的理论文章
2019年起,小米粥同学开设过专栏《GAN的优化》,主讲了GAN相关的基础理论。本专栏及其后续内容有超过15篇文章,从生成模型出发,讲述了GAN的基本理论,包括工作原理,更具有普适性的f散度度量和Wasserstein距离,以及IPM框架;接着介绍了GAN训练困难的原因以及几个训练技巧,各种GAN的正则项的优劣;GAN中的模式崩溃问题以及几个比较好的解决方案。
文章链接为:
【GAN优化】长文综述解读如何定量评价生成对抗网络(GAN)
GAN公开视频
2021年初有三在阿里云上开设了免费视频课程《深度学习原理与实践》,其中讲解了GAN的基础理论和简单实践,一共有9期内容,如下:
完整的内容包括生成模型基础,自编码器与变分自编码器,生成对抗网络基础,GAN优化目标设计与改进,数据生成GAN结构与应用,图像翻译GAN结构与应用,GAN的评估,DCGAN图像生成实践……
相关文章请阅读:
GAN实战图文专栏
实战更是硬道理,show me the code!为了让大家能够从理论和实践同时掌握好GAN模型,我们公众号也开设了《百战GAN》的实战专栏。
本专栏挑选经典GAN模型进行原理讲解,代码剖析,完成模型训练与测试,已有的内容包括图像生成,图像分割,图像增强,图像风格化,图像超分辨等领域,欢迎大家进行投稿。
相关文章请阅读:
【百战GAN】适合所有人的第一个GAN项目:DCGAN图像生成代码实战
【百战GAN】GAN也可以拿来做图像分割,看起来效果还不错?
【百战GAN】StyleGAN原理详解与人脸图像生成代码实战
【百战GAN】StyleGAN人脸属性(表情年龄性别)编辑代码实战
【百战GAN】定制属于二次元宅们的专属动漫头像,这款GAN正好!
有三AI知识星球-GAN板块
有三AI知识星球是我们公众号内容的升级,包含更多更新技术的图文解读(注意星球是一个图文知识社区),关于星球的介绍如下。
【杂谈】有三AI知识星球指导手册出炉!和公众号相比又有哪些内容?
知识星球中一个非常重要的模块就是GAN,内有超过100期经典GAN模型的解读,下面是其中一些重要模块的归类预览。
星球里的学习方式为提供论文下载+论文解读,如下:
细分到各个方向,包括图像与语音生成GAN,图像分割与目标检测GAN,图像编辑与创作GAN,图像翻译/风格化GAN,图像增强GAN,人脸与人体GAN,以及其他各领域未明确归类的GAN。
(1) 图像与语音生成GAN。
内容覆盖基本的GAN模型(从DCGAN到SAGAN),条件GAN(CGAN等),多尺度GAN模型(从LAPGAN到StyleGAN),与VAE的结合(ALI等),图像增强与仿真GAN(从BAGAN到SimGAN),多判别器与生成器GAN(从TripleGAN到MAD-GAN),三维GAN(VON)等,视频GAN(从MocoGAN到MDGAN等)。
(2) 图像翻译/风格化GAN。
内容包括有监督的图像翻译GAN(从Pix2pix到Pix2pixHD)与无监督的图像翻译GAN。其中无监督的图像翻译GAN是重点,介绍各类基本模型(UNIT,CycleGAN等),多域拓展(从MUNIT到StarGAN),以及各类应用(Whitebox GAN等)。
(3) 图像增强GAN。
内容包括GAN在各类图像增强任务中的应用,包括图像降噪(GCBD等),对比度增强(EnhanceGAN等),超分辨(从SRGAN到Cycle in Cycle GAN),图像修复(从CE到ARGAN等),图像去模糊(从DeblurGAN到DBGAN等)。
(4) 人脸人体GAN。
内容包括GAN在人脸人体生成与编辑中的各类应用,包括人脸风格化(UGATIT等),人脸妆造(BeautyGAN等),年龄编辑(CAAE等),表情编辑(G2GAN等),姿态编辑(FFGAN等),关键点检测(Boundary-aware GAN等),人脸补全(Face De-occusion GAN等),人脸识别(Dual Agent GAN等),人脸超分辨(Pulse等),人脸修复(Old Photo Restore GAN等),人脸驱动(ReenactGAN等),通用人脸属性编辑(StyleGAN及其变种),姿态迁移(Everybody Dance GAN等),人脸换装(VITON等)。
(5) 图像分割与目标检测GAN。
内容包括GAN在图像分割与目标检测等经典任务中的应用,包括分割GAN(从SegGAN到Background Matting),检测GAN(从FindFaceTinyGAN到Perceptual GAN)。
如果你想学习相关内容,欢迎扫码加入有三AI知识星球:
当然,需要提醒大家的是,知识星球是我们的高阶社区,里面不会涉及很基本的内容。诸如图像分类,图像分割,目标检测的一些基本的模型解读,请大家移步我们的视频专栏进行学习。
其他文章
其他还有一些杂谈类的文章,比如GAN在人脸各个方向,在图像质量提升各个方向的应用等,不再一一介绍,可阅读如下:
文章链接为:
【GAN】如何生动有趣地对GAN进行可视化?Google的GAN Lab推荐你了解一下
【杂谈】除了生成图像(造假),GAN如何给目标检测,图像分割,图像增强等问题打辅助?
【杂谈】一本书同时学分类,检测,分割,三维重建,GAN,难道它不香吗?文末送两本
【总结】超100期经典GAN模型的解读,从结构设计到应用,你不动心吗?
GAN专栏视频
为了在最大程度上让大家掌握好GAN各类模型理论和应用,我们也推出了GAN的一些理论与实战专栏,已经基本完结的包括《深度学习之图像生成GAN:理论实践篇》,《深度学习之图像翻译GAN:理论实践篇》。
子欲学GAN算法,必先从图像生成开始!这就是《深度学习之图像生成GAN:理论实践篇》期望帮大家搞定的问题!
本课程内容包括图像生成的各个经典算法与实践,时长超过5个小时:
(1) 理论部分。详细解读了基本的卷积GAN,各类条件生成GAN,强大的StyleGAN系列,数据增强与仿真GAN,后续还会增加3D与视频的部分内容,既有足够的宽度,也具备有足够的深度。
(2) 实践部分。本次课程中一共已经包含了2个Pytorch实战案例,分别为DCGAN人脸嘴唇表情生成任务,StyleGAN人脸图像生成任务,后续还会增加3D与视频部分的实践内容,部分案例效果如下:
完整的介绍,请阅读:【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!
图像翻译与风格化是GAN应用最为广泛的领域,《深度学习之图像翻译GAN-理论实践篇》专栏课程就是为此服务。
课程讲解图像翻译核心领域的算法与实践,当前时长约7个小时,理论讲解详细,案例丰富,下面是当前课程的大纲脑图:
(1) 理论部分:涵盖了深度学习之图像翻译的核心方向,如有监督图像翻译模型,无监督图像翻译模型,多域图像翻译模型。我们会非常详细地讲解算法中的细节,帮助彻底消化算法原理;并且后续还会有更多模型的更新。
(2) 实践部分:本次课程中一共已经包含了3个实践案例,分别为基于Pix2Pix的黑白图像上色实战,基于StarGAN的人脸表情编辑实战,基于BeautyGAN的人脸美妆实战,后续还会增加其他方向的实战,部分案例结果图如下:
完整的课程介绍,请阅读:【视频课】重磅GAN课程上新,掌握图像翻译与风格化核心技术!
另外,我们今年还出了许多GAN相关的实战课程,下面是当前已有课程的简单汇总。
介绍可阅读:【项目实战课】基于Pytorch的StyleGAN人脸属性(表情、年龄、性别)编辑实战
介绍可阅读:【项目实战课】基于Pytorch的StyleGAN v1人脸图像生成实战
介绍可阅读:【项目实战课】基于Pytorch的StarGAN人脸表情编辑实战
介绍可阅读:【项目实战课】基于Pytorch的UGATIT人脸动漫风格化实战
介绍可阅读:【项目实战课】基于Pytorch的BeautyGAN人脸智能美妆实战
介绍可阅读:【项目实战课】基于Pytorch的Pix2Pix黑白图片上色实战
介绍可阅读:【项目实战课】基于Pytorch的SRGAN图像超分辨实战
介绍可阅读:【项目实战课】基于Pytorch的DCGAN人脸嘴部表情图像生成实战
如果想要一次性获取所有GAN相关的内容,请了解2022年有三AI-CV秋季划GAN组:【CV秋季划】生成对抗网络GAN有哪些研究和应用,如何循序渐进地学习好(2022年言有三一对一辅导)?
最后,欢迎大家来我们平台投稿原创的技术专栏,申请开设相关实战类课程。
转载文章请后台联系
侵权必究