本文来自微信公众号:硅星人(ID:guixingren123),作者:光谱 杜晨,原文标题:《兴奋还是恐怖?美基因公司推“深度怀旧”计划,一键让老照片“动起来”》,题图来自:美剧《旺达与幻视》
虽然人人现在都用手机拍照,家家户户仍然会保有一本老相片册,里面装着我们一家人一生中重要的照片。逢年过节回家翻阅这本相片册,人们可能会惊讶低发现,自己原来和年轻时的爷爷、奶奶,甚至曾祖父祖母长得如此像——这正是基因的神奇之处。
就在最近,美国一家名叫 MyHeritage 的基因检测公司,在深度学习算法的帮助下,推出了一项全新的免费服务:用户可以在它的网站上传老照片,而算法能够将静态的照片变成动态的短视频,让照片中可能已经过世的祖先,变得栩栩如生。
使用方法也非常简单,只是需要用户在 MyHeritage 上注册一个账号(14天免费试用,期间可以随时取消),才可以上传照片。上传后只需要稍等10秒~20秒,照片“活化”的小视频就自动生成了。这项服务的名字叫做 Deep Nostalgia(深度怀旧)。顾名思义,它采用了深度学习技术,对照片中的人像进行追踪和“活化”。
它的技术后台已经包括了一套10个预设“driver”,也即已经包含了一系列表情变化和动作的原始视频,再对用户上传的静态照片套用这些预设的 driver,得到新的动态视频。
那些在老照片里不苟言笑的帅哥美女们,经过 Deep Nostalgia 的“复活”,变得栩栩如生。
Deep Nostalgia 其实有点像 iPhone 拍照的 Live Photos。这个功能能够保存下用户在按下快门前后一小段时间内的所有画面,可以让用户在其中选择最好看的一帧,也可以生成一段小视频。
Deep Nostalgia 的效果也差不多,就像是记录下了你的祖先当时在拍照的那一小段时间内的表情变化——虽然是假的,但你有这份心,相信祖先们也不会有意见的。
回到技术上,它的提供者是另一家公司 D-ID(全名De-IDentification)。根据介绍,这家公司非常擅长使用深度学习技术进行视频重演(video reenactment)。
上个月 MyHeritage 用一张美国前总统林肯的黑白照片,加上基于机器学习的填色、表情动画等技术做了一条广告片,其背后的技术和 Deep Nostalgia 相同,即是由 D-ID 开发的:
MyHeritage 还透露了关于 Deep Nostalgia 更多的技术细节。比如在“活化”照片之前,后台需要先将用户上传的照片进行增强,生成一张高清晰度的照片做底(而这本身就利用了相关的机器学习技术)。据该公司透露,增强照片能够确保照片视频化的质量更高,效果更好。
以及,由于技术的限制,如果你有一张家人团圆的大合照的话,Deep Nostalgia 每次只能指定其中的一张人脸,目前没有办法让大家一起“活”在同一张照片里。
这是硅星人用自己照片得到的结果:
尽管略微遗憾,MyHeritage 的后台还是有更多功能的。在此之前,用户已经可以在后台上传一些黑白老照片,MyHeritage 可以自动给它们加上颜色:
而在新增的照片“活化”功能上,用户也可以进一步选择想要套用的 driver(表情组合)。可选的 driver 一共有10种,有的看起来很真实,有的则会因为人像的发型/表情/面向等,效果会显得有点假。当然,这毕竟是用深度学习技术驱动的,对它的期望也不用太高。
My Heritage 是一家美国的基因血检公司,和大家可能更加熟悉的 23andMe 是同业公司,用户只需要用该公司推出的简易检测包,提交自己的基因,即可查看自己的族裔人种构成、祖先在地球上的迁移路线、制作家谱,甚至还有可能寻找到失散的亲人。
可以说,My Heritage 帮助用户让老照片重焕新生,让他们看到“活着”的祖先,也算是在自己的主营业务基础上锦上添花了。
回到 Deep Nostalgia,它背后的 D-ID 公司在造脸这件事上确实能力很强,不过该公司也宣称它开发的技术都是用于增强用户隐私,确保符合监管。
在此之前,D-ID的核心技术有两款,一款是 Advanced facial blurring,也即对照片进行深度学习处理,让普通人看起来毫无差别,却无法让人脸识别算法破解。
另一款叫做 Video anonymization。比如在一些纪录片里经常会出现匿名受访者,面部需要被挡住,要加变声器。而 D-ID 提供的技术可以直接给这些匿名受访者换一张脸,能够保留原本的面部表情,但完全认不出来。
在机器人技术和心理学的领域有一个著名的恐怖谷理论 (Uncanny Valley),指的是随着机器人与人类在外表、动作上的相似程度越来越高,到了某个特定程度时,反而会令人感觉十分恐怖。机器人/生成的假人哪怕与真实人类有一丁点区别都会非常显眼,令人有面对僵尸的感觉。
MyHeritage 也的确提到,有一部分用户可能会对 Deep Nostalgia 生成的视频结果感到毛骨悚然,会不喜欢这样的结果。
“确实,生成的结果可能会有争议。我们希望你能够尝试和分享这些功能,了解家人和朋友对于它的想法。”该公司在网站上写道,“这个功能的设计目的时为了怀旧,让我们深爱的祖先能够‘复活’。为了避免滥用(比如 deepfake),我们的 driver 也不包含任何语音功能。请仅在你自己的老照片上进行尝试,不要未经允许使用其他生者的照片。”
最近几天,类似的人脸活化和 DeepFake 技术确实引起了一些轰动以及不小的争议。
去年年初,俄罗斯程序员 Ali Aliev 在家无聊,决定用 DeepFake 把自己的脸换成伊隆·马斯克。他后来把这项技术做成了一个短视频应用 Avatarify,受到很多用户(其中也包括很多名人)的欢迎。
今年春节期间,开始有中国网友用 Avatarify 制作了一帮首富演唱洗脑神曲“Dragostea Din Tei”(就是“蚂蚁呀嘿”那首歌)的 DeepFake 视频,在抖音、微博等社交平台上引发病毒式传播:
也是在最近,一位专业的汤姆·克鲁斯模仿者,使用 DeepFake 技术制作的 TikTok 短视频在互联网上引起热议。这位模仿者的账号名叫@deeptomcruise(现在已经被封),上面有不少他模仿汤姆·克鲁斯的视频。
专业人士在对比他的声音,以及人脸表面错误的光照效果之后,能够比较轻松地判定这是 DeepFake 的结果。不过这些视频在普通用户的眼前,足以以假乱真……
你会想要试用 Deep Nostalgia 这样的功能吗?对于它的“恐怖谷效应”怎么看?欢迎在评论区分享给我们。
本文来自微信公众号:硅星人(ID:guixingren123),作者:光谱 杜晨