2020-07-02 17:00

你是怎么一键变身漫画颜的?

「变身漫画」,你玩了吗?


抖音新上线的漫画滤镜热度超千万,戚薇、邓紫棋……不仅明星们玩儿的不亦乐乎,PDD 也小清新了一把。

它的原理并不简单,总的来说需要三步:风格化,实时转换,还有,动作识别。

将人脸变为漫画脸,最好的帮手就是我们上周讲到的 CycleGAN。


能找到同一事物不同表达之间联系的 CycleGAN,同样能找到现实世界与漫画之间的关联。

不过仅仅依靠 CycleGAN 是不够的。


性别转换是在人脸的基础上做出变化,漫画化寻找的是风格上的对应关系,不那么在乎人脸,很容易让画面变得「诡异」。

这时就需要增加能保留人脸特征的「特征点」(Landmark),转化出的人脸才会更稳定

第二步,实时转换。

视频的风格化是将每一帧画面风格化后,再将它们按照时序组合起来。拍摄视频需要实时对摄像头接收到的图像进行处理,不仅模型本身的计算量要小,还要适配不同配置的手机。


抖音使用了模型下发策略,即针对不同的手机分配适合的模型,更好的利用硬件算力,达到实时漫画的要求。

接下来,行为识别。变换画面需要手指拖动一个不存在的拉杆,这需要认出视频中人的动作。不过抖音的拉杆只用检测到动态内容接近屏幕边缘,并跟踪该内容转换画面即可。

GAN 的家族非常大,能让人脸风格化的应用还有很多。

比如 MangaGAN,不仅能将人脸漫画化,参照的还是《死神》作者久保带人的风格。

以及能让人脸像素化的 Pix2pix,可以直接去这个网址试一试。

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系hezuo@huxiu.com
如对本稿件有异议或投诉,请联系tougao@huxiu.com
正在改变与想要改变世界的人,都在 虎嗅APP
赞赏
关闭赞赏 开启赞赏

支持一下   修改

确定