了解Apple iPhone 11的新相机功能背后的技术

苹果公司对夸张很感兴趣，以至于没有任何苹果活动，如果没有诸如“ 绝对令人惊叹 ”，“ 没有像以前任何东西 ”和“ 真正令人难以置信 ” 这样的短语，那就不会完整。客户和技术新闻界的同仁都已经习惯了Apple的自我支持-毕竟，尽管该品牌确实倾向于炫耀经过革新的现有技术版本，但它仍然有效。在最近结束的iPhone 11上但是，库比蒂诺(Cupertino)巨人与自己有点不同，它以一种轻快的速度从一个发射转移到另一个发射，而无需花费太多精力。但是，那并没有阻止Phil Schiller将他们的新相机技术标记为“ 计算摄影狂科学 ”。我们在这里谈论的是Apple的Deep Fusion技术，如果您想知道它是什么以及为什么要关心它，请继续阅读。

它是什么?

在任何可能的方式中，深度融合都完全属于计算摄影的既定定义。为了调动您的记忆力，可以将计算摄影定义为一个系统，其中在拍摄照片后，处理单元的算法主要负责产生最终照片。在典型情况下，它使用智能手机内部的图像信号处理器(ISP)来增强传感器和镜头在无数数学计算中捕获的图像，从而生成现有光学设置无法实现的图像。

借助Deep Fusion，苹果公司将计算摄影技术进一步发展。苹果公司不单单依靠ISP，而是大胆地赌输了对神经引擎或神经处理单元(NPU)的大部分责任，以便在拍摄照片时使用更多的计算能力。这样，在Apple新款iPhone上拍摄的任何图像都将以多张照片进行拍摄，然后Deep Fusion将采用并增强元素以创建具有最佳色彩平衡，丰富细节，纹理，白平衡和噪点的照片。 。鉴于苹果通常在其相机中使用一流的硬件，因此至少在纸面上的结果应该是出色的。

它是如何工作的?

在新版iPhone 11，iPhone 11 Pro和iPhone 11 Pro Max中，打开相机应用程序后，一堆算法指示成像系统开始工作。这将其设置为操作的关键部分，在这种情况下，照相机可以在实际按下快门按钮之前为您的对象拍摄一堆照片。这样做的主要手段是ISP本身，它被编程为在按下快门后总共拍摄9张照片-4张快速曝光照片，4张次要照片和1张长时间曝光照片。

实际上，前八幅照片是在按下快门按钮之前单击的，并且在点击快门时，所涉及的iPhone将为您的主体拍摄一张长时间曝光的照片。重要的是要注意，此处的“长时间曝光”受普通智能手机照片的标准快门速度的影响，并且可能在1/2秒或1/6秒以下。拍摄完这些图像后，就可以使用Apple A13 Bionic SoC上的新神经引擎，指的是该技术的Deep Fusion部分。

在这里，神经引擎从24兆像素(即2400万像素)的组合数据创建整体图像帧，以在照片的每个部分中拍摄的9张照片中选择最佳。从更精细的角度讲，神经引擎的算法经过训练，可以从拍摄的九张图像中为最终照片中的每个最终像素选择最佳像素。即使在现代的片上系统处理单元看来，从按下快门之前到查看照片，也只是在短短的一秒钟的时间内处理了大量的数据。

由于Deep Fusion的基本任务是改变所有拍摄的曝光时间，因此对于每个像素，神经引擎都有广泛的指标可供选择。基本上，一旦您单击图像，A13 SoC的神经引擎便可以决定最佳对比度，清晰度，保真度，动态范围，色彩准确性，白平衡，亮度和与图像相关的所有其他因素。由于相机的可变因素范围很广，因此Deep Fusion技术可以理想地产生具有更高动态范围，令人难以置信的高细节水平，出色的弱光成像，低噪点和高色彩精度的图像。 。

另一个应该受益的领域是低照度摄影，苹果公司以自己的夜间模式拍摄了广告。在弱光条件下，Apple会将长曝光图像的亮度优势与短曝光图像的稳定性，细节和准确性相结合，以创建一种超级图像，在黑暗中为主体提供出色的照明，同时保持稳定性和稳定性。不会造成镜头模糊。在这种情况下，Deep Fusion可能会发挥出最大的威力，因为在白天，这将完全取决于Apple是否获得正确判断颜色的算法。

它与其他技术有何不同?

老实说，深度融合并不完全是突破性的，甚至也不是全新的。三年前，索尼在以前的旗舰产品Sony Xperia Z5上推出了预测性拍摄功能，该产品一共拍摄了四张照片，其中三张是在敲击快门时拍摄的，另一张是在按下快门时拍摄的。这个想法是为了帮助用户拍摄快速移动的物体或自己快速移动时的稳定，稳定的照片，例如在轨道上飞驰的赛车，或在快速车中在道路上的一棵独特的树木。

Google Pixel 4

预计Google Pixel 4将进一步改善计算摄影。

索尼著名的步履蹒跚的界面意味着该功能太过迟钝和错误，并且经常会在按下快门时冻结相机应用程序。因此，尽管索尼是智能手机上的计算AI摄影的第一批制造商之一，但索尼却无法利用它，就像480和960fps的超慢动作视频一样。另一方面，谷歌通过爆破HDR成像使其玩起来更加智能。它使用了轻巧的界面，资源友好的摄像头应用程序以及出色的ISP，可以在Google Pixel 3上提供15张HDR +计算摄影效果。这几乎与席勒声称的iPhone 11所具有的“疯狂科学”相同-从按下快门开始观看照片之前，整个过程大约需要一秒钟，其中Pixel 3相机会以HDR +拍摄15张相同主题的图像，

坦白地说，从目前看来，Deep Fusion唯一的独特表现在于它点击了额外的长时间曝光图像。长曝光框可以为神经引擎在选择正确的亮度和亮度水平(尤其是在昏暗设置中)方面提供不错的杠杆作用。也就是说，在拍摄速度，整体细节等方面，看看苹果的计算摄影是否真的比Google在其算法上具有更大的影响力肯定会很有趣。

那么，这有什么大不了的吗?

对于苹果公司来说，Deep Fusion是其备受赞誉的Google Pixel相机的答案。Android的制造商已经在过去几代的Pixel智能手机中进行了计算摄影，尽管许多报道都说苹果已经落后了，但iPhone的责任在于展示其所有神经引擎和软件可以做什么。

然而，就目前而言，很难说Deep Fusion是真正值得被称为“疯狂科学”的技术，还是会逐渐淡化为苹果的另一项夸张的技术。