不用再花冤枉钱买设备 iPhone+AI就能建立人脸精确3D图形

来源:本站作者:admin 日期:2020-04-06 浏览:

AI

曩昔,制造出传神且不吓人的人脸准确3D重建图需求贵重的设备和专业技能。但现在,卡内基梅隆大学(CMU)的研究人员运用一般智能手机拍照的视频完结了这一方针 。

运用智能手机接连拍照脸部前方和旁边面的视频会发生密布的数据云。CMU机器人研究所开发的两步程序运用这些数据,在深度学习算法的协助下,完结了人脸的数字重建。并且他们的办法能够到达亚毫米精度,优于其他一切根据相机的相似进程。

取得数字重构的人脸,能够用来制造游戏或AR/VR人物形象,也能够用于动画、生物辨认乃至医疗程序——准确的面部3D制作有助于定制外科口罩或呼吸器。

CMU机器人研究所副教授Simon Lucey说:“在核算机视觉和图形学范畴,树立面部的3D重构一直是一个未处理的问题,由于人们对面部特征的外观十分灵敏。重建进程中即使只呈现的细小反常,也会让终究成果看起来不真实。”

激光扫描仪、结构光和多机位工作室能够完结高度准确的面部扫描,但若要运用这些专门的传感器,在大多数场合又显得不划算。

Lucey和他的研究生Shubham Agrawal、Anuj Pahuja开发的办法处理了这一问题,他们的研究成果已经在3月初的科罗拉多州Snowmass举办的IEEE核算机视觉运用冬天会议上揭露。他们运用iPhone X的慢动作形式拍照了15-20秒的视频。

“高帧率慢动作是咱们办法的要害之一,由于它发生了一个密布的点云,”Lucey说。

随后,他们采用了常用视觉同步定位和绘图(SLAM)技能,经过对表面上的点进行三角测量来核算其形状,一起运用这些信息来确认相机的方位。

这一步创建了人脸的初始几许形状,可是也会丢掉部分数据,使模型呈现空白。

在接下来的第2步中,研究人员引进了AI技能。他们首要运用深度学习算法来添补这些空白,辨认出一张人脸的概括和标志性器官,如耳朵、眼睛和鼻子。这时会呈现一个问题:深度学习技能有其局限性。

Lucey解说称,“深度学习是咱们每天都在运用的强壮东西,但它有一种回忆答案的倾向”,这和寻求脸部细节辨认的方针各走各路。这时候就要引进一些经典的核算机视觉技能作为弥补。这种办法的功率较低,需求30-40分钟的处理时刻,但整个进程能够在智能手机上完结。

除了面部重建,CMU团队的办法还能够用于捕捉简直任何物体的几许形状,Lucey说。然后,这些物体的数字重建能够整合到动画中,或许经过互联网传输到能够用3D打印机仿制物体的网站上。

参考资料:

[1]https://www.cs.cmu.edu/news/smartphone-videos-produce-highly-realistic-3d-face-reconstructions


首页
电话
短信