这就是苹果如何使AR对象更加可信

Apple正在使用机器学习，通过可预测反射，照明等的智能环境纹理，使增强现实对象在iOS 12中更加逼真。ARKit 2.0中增加了这项新功能，它使用设备上的处理功能将虚拟对象与真实对象更好地集成在一起，从而模糊了计算机生成的内容与真实的内容之间的界线。

“在金属AR碗旁边放一个真正的香蕉，会有黄色反射”

当前，如果您在现实世界场景中有一个虚拟对象，例如木桌上的金属碗，则木材的纹理不会反映在金属碗中。环境纹理的作用是在周围的物理纹理中拾取细节，然后将其映射到虚拟对象。因此，金属碗会稍微反射它所坐的木质表面。如果您在碗旁边放一个香蕉，也会有黄色反射。

环境纹理收集场景纹理信息，通常(尽管并非总是)将其表示为立方体的六个面。然后，开发人员可以将其用作其虚拟对象的纹理信息。使用计算机视觉，ARKit 2.0提取纹理信息以填充其立方体贴图，然后-填充立方体贴图时-可以使用每个方面来了解AR对象的每个部分所反映的内容。

但是，这将需要对空间进行完整的360度扫描，然后才能填充立方体贴图。由于这是不切实际的，ARKit 2.0可以通过预测缺少的纹理，使用机器学习来填补立方体贴图中的空白。所有这些都是实时完成的，并且完全在设备上进行。

“很少有AR体验需要完全静止不动”

当然，很少有AR体验需要完全静止不动。结果，ARKit 2.0的环境纹理可以跟踪物理运动并相应地调整其对缺少纹理的预测。同样，随着虚拟对象的移动，它们的立方体贴图也会移动以更改应用于其虚拟表面的反射。

令人惊讶的是，它与增强现实对象在其真实环境中的嵌入程度有多大不同。当然，从数字生成的图形与真实图形无法区分的方面，我们还有一定距离：由于Apple在本地而不是在云中进行所有渲染，因此需要考虑iPhone或iPad GPU的净空。尽管如此，作为现实世界参与者的AR对象看起来比以前更加真实。

与更广泛的ARKit一样，使这种新环境纹理特别强大的原因是，第三方应用程序开发人员实际上几乎不需要做多少工作就能将反射，阴影等元素整合到增强现实体验中。多维数据集贴图是自动生成的，并且随着用户在空间中移动而保持最新。在许多情况下，仅需几行代码即可使用该纹理数据。

苹果公司在WWDC 2018上的大型AR演示是一款多人游戏，涉及“通过” iPad显示屏看，并以数字方式将木块推倒到真实桌子上。尽管如此，我不禁想到这种纹理映射将对明天的增强现实设备(例如苹果公司正在研发的智能眼镜)产生什么影响。

然后，虚拟对象的真实程度将变得更加重要。毕竟，与iPhone或iPad的屏幕相比，当您戴着AR眼镜时，任何看起来不正常的东西都将变得更加刺耳。苹果公司今天可能并没有在谈论这个问题，但是不难看出，这种通向更逼真的虚拟对象的途径-与诸如持久性，共享的AR空间共享之类的东西相结合-将有助于创造更加沉浸式的增强现实体验，中间没有iPhone。