趋势网(微博|微信)讯:
胖东来宣布员工结婚不允许要或付彩礼 2岁男童下楼买糖时被人拐走 官方通报黑龙江老虎进村咬伤村民 兰州交大情侣楼梯间发生不雅行为 恩波格斗声明
自拍里的黑科技
每个人都喜欢Prisma,这款应用能够把智能相机拍摄的照片变成极富风格的艺术品。而据来自荷兰的研究者们所说,如果我们把转变过程反过来——将画作还原成相片——其中的原理依然十分迷人,而且这一技术是实现并不是天方夜谭。
一个来自奈梅亨大学,由神经系统学家组成的四人小组正在致力于通过使用深度神经网络将脸部速写转变成照片一样的真实相貌。这项被称为卷积素描反转的研究首先于在线档案中心arXiv上发布,并且其理论最近被位于阿姆斯特丹的欧洲计算机视觉会议中心接受。
科学家们说,这个成果的应用领域既可以是艺术方面,比如可以用来把自画像转变成更接近照片的风格;也可以应用于法医,把根据目击者形容所绘制出的犯罪画像转变成更具有实用性的真实照片。
“我们的灵感来自于最近关于神经风格转换的研究,这是一个重新生成不同画风作品的算法。”两位与Marcel van Gerven和Rob van Lier共事的认知神经系统学博士生,29岁的YağmurGüçlütürk和?30岁的UmutGüçlü在信中这样写道。
Yağmur和Umut在信中提到的那种技术把德国小镇图宾根用梵高在油画星夜里的画风重新呈现了出来。“这个例子促使我们思考如果把这个转变过程反过来会怎样,如果梵高的油画变成照片会是什么样子。”他们写道。
如此神奇的程序,工作原理是什么?
关于这个建立在人工神经网络基础上的软件,他们是这样形容其工作原理的:
“这么说吧,我,作为一个科学家,现在来教你人工神经网络是如何把速写(输入内容)变成照片(输出内容)的。首先,我建成了一个非常庞大的数据库,里面都是速写,和对应的真实照片。我给你一张速写,然后让你把它变成照片。一开始,你会随便变一张给我,所以你的照片看起来会和数据库里的正确答案差挺多的。然后我把你提供的照片和数据库里的那张作对比,并且指出在哪里出了问题。根据我的这些回馈,你开始渐渐找到合适的方法。渐渐的,你提供图像会越来越接近真实的相片。”
根据数据组所合成转换的速写。每一列第一张是真实照片,第二张是速写,第三张是合成转换出的照片(来源:“卷积素描反转”研究)
一次次的重复在教会程序如何根据速写找到正确的照片的过程中起到了重大作用。它同样也是训练神经网络的一项重要标准。
“我们一次又一次的重复这两个步骤,”Yağmur和Umut写道“最终,你的照片会看上去和我们数据库里的照片十分接近。如果一切顺利的话,你不仅能用这个技巧来转化你已经见过照片的速写,还能变化你以前没有见过高清照片的那些速写。”
为了训练并测试这个算法,科学家们根据数据集CelebA和LFW中所储存的照片,使用计算机生成了很多速写。CelebA是一个有着多达二十万张名人照片的在线数据库,而LFW里储存着来自网络上的一万三千张照片。而手绘的速写则来自于CUFS。
两位博士生第一件尝试的事情是把他们画的自画像变成照片。感谢算法,他们还得到了三张荷兰绘画大师的“照片”。(伦勃朗,梵高和埃舍尔)
荷兰大师的速写自画像,转化合成的照片和真实照片(或自画像):伦勃朗(上),文森特·梵高(中)和M·C·埃舍尔(下)。(来源:“卷积素描反转”研究)
这两位研究者最近正在寻求把他们的研究成果推入市场,他们正在积极打探绘画市场或是法律鉴定市场,以求从产品中赚得钞 票。
“我们建立了一个剥离公司,Neurant。并且正在致力于这一方面的申请,我们希望能尽快把产品推入市场。”Yağmur和Umut总结道。