新闻中心

实验软件允许2D照片中的3D对象操作

卡内基梅隆大学《银翼杀手》中的场景很有名:瑞克·迪卡德拍摄了一张粗糙的照片,就像你看到一个3D空间一样缩放、增强并在拐角处移动。这是不可能的,有很多原因,尤其是照相机只能看到拍照时可见的东西。

但是,如果软件可以从2D图像中合理地推断3D形状呢?这是卡内基梅隆大学的研究人员在机器人亚西尔谢赫的助理研究员带领下,利用免费提供的家具、炊具、汽车、服装和电器等日常物品的3D模型创造的。机器人学研究所博士生、研究报告的主要作者娜塔莎·霍尔格德说:“在现实世界中,我们习惯于搬运物体——举起、翻转或打翻它们”。我们创建了一个环境,让您在编辑照片时有同样的自由。我们的目标不是简单地编辑我们在照片中看到的内容,而是操纵我们所知道的照片背后的场景。

这并不完美-库存模型并不总是与照片中的对象完全匹配,有些对象根本不能作为库存模型使用-但是它可以用于各种对象,不仅仅是数码照片,还可以用于作为图像文件上传的绘画和历史照片。

柔软的物体会出现一些瑕疵,这些瑕疵在移动时会变形,有时照明或老化会导致物体外观发生变化。为了纠正这些问题,研究人员创造了一种技术,半自动地将模型与照片中物体的形状对齐。然后它推断照明和物体的隐藏部分可能是什么样子。

研究人员还认为,随着3D扫描和打印变得越来越普遍,软件将有更多的库存模型可供开发,填补了数据库中的空白。

更紧迫的问题将很快出现,不是某个特定型号是否存在于网上,而是用户能否找到它, Sheikh说。科尔加德将于8月13日在加拿大温哥华举行的SIGGRAPH 2014计算机图形和交互技术会议上介绍这项部分由Google研究奖资助的研究( PDF )。你可以在它的官方网站上看到更多关于这个项目的信息。