女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

观点
2021
12/14
14:43
亚设网
分享

包浆老图立刻清晰到头发丝是一种怎样的体验?看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动(这就是用 AI 修复的高圆圆童年照)。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

甚至时间更久远的历史名人照片也能搞定。例如鲁迅先生年轻时意气风发的模样,被还原地淋漓尽致:

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

图灵的这张修复就更厉害了,不仅眼神更加锐利,头发、眉毛等细节都被完美还原了出来:

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

而以上这些效果,无需专业 PS 技能,只用一个网页端的 Demo、点点鼠标上传图片就能搞定!

这么方便的修复神器,立刻引来了广大网友的围观和试玩。

不少人都用自己童年时低像素的照片来试验,这效果仿佛十几年前的自己就站在眼前了:

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

已经糊到包浆的照片也能秒变人像大片,这 feel 立刻就来了~

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

多人合照修复也都是小 case,这效果让网友们直呼惊到了惊到了。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

这就是已经多日霸占 GitHub 热榜第一的 AI 修复项目:GFP-GAN,Star 数高达 8400。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

最近,它在网上又掀起了一股老照片修复热潮,让人们争相试玩!而这一项目由腾讯 PCG ARC 实验室提出,其相关论文已被 CVPR2021 收录。

现在,就让我们赶紧来体验一下它的神奇之处吧。

Demo 试玩

GFP-GAN 可通过 Colab、Hugging Face 或本地运行代码进行试玩。我们今天是在 Hugging Face 网页端体验。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

如界面所示,只需将你想修复的照片拖进左边的图片框内,点击 Submit 即可。比如我们上传一张的照片,得到的效果就是这样:

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

而且它还会自动摆正人脸。

让人惊喜的是,遇到人像戴眼镜的情况,GFP-GAN 甚至连镜片反光都能高清化处理。u1s1(有一说一),修复后的效果完全看不出是几十年前的照片啊!

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

就连齐天大圣孙悟空的猴脸,对于 GFP-GAN 而言也是 so easy,并且对光线的修复效果格外突出。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

并且修复中也不会过度磨皮,人脸上自然的皱纹也全部精细展现。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

用 GAN 修复人像

那么 GFP-GAN 如此强大的效果是怎么实现的呢?研究人员受到 StyleGAN2 的启发:

既然 GAN 已经能生成如假乱真的图片,那么它所包含的面部信息,是不是也能帮助人脸修复呢?由此,在 GFP-GAN 的模型框架中,主要用到了一个退化清除模块和一个预训练的 GAN 作为先验。

两个模块通过隐编码映射和多个信道分割空间特征变化层(CS-SFT)连接。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

训练过程中,首先要对低质量人脸进行降噪等粗处理,然后保留面部信息。

在保真度方面,研究人员引入了一个面部损失( Facial Component Loss),判断哪些细节需要提升保留,然后再用识别保留损失(Identity Preserving Loss)进行修复。

一作师从汤晓鸥教授

本文论文一作是 Xintao Wang,他是腾讯 ARC 实验室 (深圳应用研究中心) 的研究员。

本科毕业于浙江大学,博士毕业于香港中文大学。

其博士期间师从汤晓鸥教授和 Chen Change Loy 教授。

研究方向为计算机视觉和深度学习,尤其关注图像、视频修复方面。

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

论文地址:

https://arxiv.org/abs/2101.04061

GitHub 项目页:

https://github.com/TencentARC/GFPGAN

Hugging Face 试玩传送门:

https://huggingface.co/spaces/akhaliq/GFPGAN

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表亚设网的观点和立场。

2.jpg

关于我们

微信扫一扫,加关注

Top