说起能实现照片变绘画的 AI 工具,也许你首先想到的是多年以前一款叫 Prisma 的 app,当时它以「能让你的照片瞬间变名画」的能力火爆朋友圈。
也许你还会想起最近流行的迪士尼滤镜,如今在 Snapchat、B612 等一众热门美图 app 中都能找到这一功能了。
作为一名塑料绘画爱好者,每一次看到类似的 AI 在绘画领域又有突破的新闻,A 君都想第一时间尝试。
最近一款引起热议的二次元漫画风格迁移工具 AnimeGANv2 又再一次让我们由衷感叹科技力量之强大:只要挑选到正确的照片,该工具的成像效果真的可以用「惊艳」来形容了。
▲ 图片来自: AnimeGANv2 的在线体验页面
▲ 图片来自: AnimeGANv2 的在线体验页面
AnimeGAN 原来是 GitHub 上的一个开源项目,在 2019 年发布以后就已经引起了不少讨论,知乎上还有人专门开贴讲述过它的算法模型。
▲ AnimeGAN 的 GitHub 项目
该工具是基于一种叫 GAN(名对抗生成网络)的技术打造的,相比于传统的神经网络模型,GAN 是一种全新的非监督式的架构。
在训练 AI 时 GAN 包括了两套独立的网络 A 和 B,A 网络是需要训练的分类器,用来分辨成图是否符合标准;B 网络是生成器,生成类似于真实样本的随机样本,并将其作为假样本以欺骗网络 A。
在 A 和 B 的对抗中,AI 的水平逐渐提升,最后实现质的飞跃。
最近 AnimeGAN 发布了其二代版本,据称更新后 AnimeGANv2 支持了风景照片和风景视频的三种动漫化风格(分别是宫崎骏、新海诚和金敏),视觉效果更佳,模型体量也更小且容易训练了。
▲ 图片来自:橘 吉野 五等分の瓜皮 的知乎文章
并且更重要的是目前 AnimeGANv2 的成果经过社区贡献者的开发已经通过 Gradio 实现了一个可以在线运行的 Demo,并发布在 了 Hugging Face 上,换言之任何人都可以通过线上的方式轻松体验到 AnimeGANv2 的效果了。
打开相应网站后,映入眼帘的是一个简单的 app 在线使用版面。
点击虚线方框就可以上传本地照片,或者直接把照片拖动到方框内也可以完成上传操作,上传完成后点击下方的「Submit」按钮,等待数秒就可以看到效果了。
这个工具本身也提供了很多的样板照片供用户测试,把网页下拉以后点击这些照片再滚动至页面上方时就可以看到图片已经被加载了。
在图片下方可以选择不同的效果,「version 1」代表提高风格化,降低稳健性的设置,而「version 2」则与之相反,降低风格化程度,提高稳健性。
简单来说选择版本 1,你放入的照片会更具有漫画的特点,但是对原来照片的还原度会被弱化,选择版本 2 则相反,能够生成出更加逼真的效果图。
比如钢铁侠的照片在两个不同版本中的体现就是很好的例子。
AnimeGANv2 本身提供了很多名人的漫画脸成品图给用户欣赏,效果都非常优秀。
下面开始进行实际体验,首先是人像。我们先从免费正版高清图片库 Pixabay 找到几张清晰的人像照片(男性、女性和孩子),然后再分别上传到网页进行计算,以下是测试效果。
效果还是十分不错的,成图中人物的边缘清晰,五官分明,绘画感强,并且更难得的是 app 对人物的外貌特点捕捉得比较准确,具有神韵。
当然普通人在没有专门的摄影设备和技巧的帮助下还是很难提供像在 Pixabay 里找到的那种干净又清晰的照片的,因此 A 君还特地在网上找了几张拍摄相对随便的大头照和前面的测试组进行对比。
▲ 当看到第三张照片的成图时就知道这次测试稳了
这次测试的照片均为亚洲人,而且应该就是拍照者随意的自拍, AnimeGANv2 的运算效果并没有让我们失望。
经检测发现,白底的证件证照反而是效果最好的,基于肖像权原因,效果图就不在这里公开了。如果你手头上没有合适的照片,不妨就直接使用证件照来体验,不仅成图效果好,对人物气质的把握精准,美颜效果更是拔群。
不过这里还有一个美中不足的地方,不知道是不是因为在训练 AI 时投喂的大多是女性的照片或者提供 AI 学习的漫画图片风格偏向阴柔,当放入一些的男性真人照时,成像的眼睛会显得有些「娘化」,带上眼镜遮挡能优化效果。
▲ AnimeGAN 效果
▲ AnimeGANv2 效果
上面用的基本为无背景大头照,倘若我们上传的是有背景的生活照效果又如何呢?
虽然整体效果还是能看的,但人物的五官瞬间就模糊了起来,看来想要获得更好的效果还得尽量使用半身或者大头照。另外在测试中发现 app 对照片的质量也是有要求的,模糊的大头照同样会使得人物的五官无法被精确捕捉。
接下尝试上传动物的照片,同样从 Pixabay 获取素材。
这次在选择小猫照片的时候特意挑选了一张表情奇特,且脸部有遮挡的照片,没想到 AnimeGANv2 还是出色地完成了任务。
一直以为选择「version 2」应该是对五官细节等还原得最好的,但是在测试小狗照片的时候发现并不一定是这样,看来根据不同的对象挑选适合的风格也很重要。
▲ 小狗的版本 1 与版本 2 对比图
最后是风景照, 虽然在知乎里描述说 AnimeGANv2 目前支持三种漫画的场景风格,但是在在线版中并没有风格选项供我们选择(该功能可能需要在 GitHub 的完整代码中实现)。
从 Pixabay 中挑选了北京肃穆的天坛、香港颇具赛博朋克气氛的街道、京都的清晨安静的神社以及两张自然风光照来测试。
虽然看不太出更像的是哪位漫画大师的手笔,但是每一张成品的效果都令人满意,特别是那种香港街头照,充满了艺术感,基本可以放在朋友圈以手绘之名以假乱真。
市场上照片转绘画风格的同类型应用应该不少,甚至我们手机中常备的美图秀秀等 app 就有带这样的插件,AnimeGAN 的团队为何要花费三年多的时间专门对这一工具精雕细琢呢?
也许这一轮测试下来,我们会得到答案——它的成图自然又好看,跟平时随处可见但效果千人一面的其他绘画风格迁移 app 是不一样的。
虽然工具的页面朴素,成像的时间也是短短几秒,但在这几秒内蕴含的是复杂的计算和数不胜数的 AI 锻炼,作为用户的我们难以得知其背后的具体实现,但其惊艳的效果带来的感性体验就是最好证明。