01人工智能的启示
最近几年,随着人工智能技术的发展,我们可以教会程序识别哪些是好照片。未来的相机以及拍摄方式很有可能发生翻天覆地的变化。在市场萎缩、传感器技术进入瓶颈的当下,AI技术也许是能够引发一次摄影设备革命。
取景构图ProstheticPhotographer
这个由手柄和顶部附件组成的装置是德国PeterBuczkowski设计的ProstheticPhotographer。这个装置通过机器学习,习得了“好”照片的标准,当它发现镜头前的场景符合好照片标准时就会以震动方式通知使用者。目前该设备尚具有一定的局限,但它代表了未来拍照设备发展的一个方向。
参数设定Arsenal
Arsenal的外形和功能很像无线快门,它可以安装在相机顶部的热靴上,然后通过数据线与相机连接。但与无线快门线不同的是,Arsenal学习了成千上万张优秀照片的参数,当你完成取景后,Arsenal会根据镜头前的场景给出正确的光圈、快门、感光度等参数建议,用户可以直接在手机App上看到Arsenal的建议值,并且一键设置所有参数进行拍照。
除了基础的曝光参数外,Arsenal还能帮助你完成诸如HDR、景深堆栈等需要多张曝光的场景拍摄。另外如果不认同设备提供的参数,还可以在手机上修改参数。拍摄完成之后,Arsenal会识别拍摄到的照片,并根据实际需要对照片进行适当的后期,让它变得更完美。
相比于前面的ProstheticPhotographer,Arsenal设备的完成度要更高,目前设备研发正处于众筹阶段,相信不久就可以看到真正面世的产品。
照片评价谷歌NIMA
作为一款谷歌全力打造的AI系统,NIMA(NeuralIMageAssessment)学习了成千上万名人类对海量照片的审美打分,以此为依据初步实现了审美层面的分析和筛选功能。NIMA对图片打出分数(10分制,括弧内为人类参与者打分的平均数)。经过不断调试,NIMA的打分逐渐趋于稳定,与真实参与的200名人类打分的平均值相比差别不大。
NIMA研究工作表明,基于机器学习的质量评估模型可能具有很多有用的功能。例如,可以让用户轻松找出最好的照片,甚至通过向用户提供实时反馈来提高照片拍摄能力。在后期处理方面,这些模型可以用来指导增强运算符生成更出色的感知结果。简单地说,NIMA网络以及其他类似网络可以满足人类对图像甚至视频的审美,尽管还不够完美,但已经比较可行了。
对同一标签下的图片筛选排序
使用NIMA对AVA数据集中一些带“风景”标签的照片进行排名。每个图像下方显示了预测的NIMA(和真实)分数
对同主题,不同画质的图片进行筛选
NIMA分数也可用于比较主题相同、进行了各种变形的图像的质量。以下示例中显示的图像是TID2013测试集的一部分,包含各种类型和级别的变形
一键抠图AdobeSensei
曾经的抠图软件都是依据像素之间的颜色、亮度关系完成边缘选择的,所以当边缘线条不明显时,这类软件就无法实现较好的抠图效果。随着人工智能的引入,程序对于照片的哪些部分代表什么物体有了认识,在抠图操作中能够给出让人惊叹的效果。
在最新版本的PhotoshopCC中增加了“选择主体”功能,此功能基于AdobeSensei的AI系统可以对画面全局进行分析,并从含义层面对抠图程序进行指导,从而抠出来的是AdobeSensei认为的画面主体,如果是一群人的话,这个功能也能将人群准确抠出来。原图Letsenhance增强效果画质增强letsenhance.io
电影中经常会出现电脑高手一下子就将模糊的监控画面变得清晰,现在基于AI的程序已经可以实现这个神奇的功能了。
letsenhance.io网站允许用户上传自己的照片并将照片的尺寸扩大4倍,相比于传统插值方式的扩图效果,Letsenhance的扩图效果十分自然,对于物体边缘的处理也十分到位。
在扩图的同时,Letsenhance还会对画面中的压缩痕迹、噪点等画面瑕疵进行修复,所以有些时候扩图的质感会比原图还有优秀,是名副其实的画质增强。无中生有NVIDIAContent-AwareFill
Adobe当年推出根据四周元素特征自动填补空缺内容的“ContentAwareFill”功能时,几乎可以用黑科技来形容,但真正应用时,还是免不了会有一些限制。而NVIDIA这次发表的研究结果,是在ContentAwareFill的概念之上再引入了AI深度学习,除了单纯寻找填补之外,还会试着去理解画面的内容,来判断应该加入什么东西。例如,将原始图片的一双眼睛“擦”掉的时候,NVIDIA的系统会判断这是一张脸,而脸的这个位置就应该有一双眼睛,所以会从图库中找一双眼睛来补充该位置。
自然,这样的系统总是不完美的,毕竟从图库中随机选择的眼睛看起来会有些突兀,而且洞太大的時候,AI也会判断不太出来该做什麼。但从NVIDIA公布的示范影片来看,小范围的修正已经可以达到肉眼几乎看不出修图痕迹的程度,破损照片的修复也有不错的效果。