在 iPhone 11 系列的发布会上,苹果高级副总裁菲利普・席勒(Philip W. Schiller)在介绍 iPhone 11 Pro 系列的影像系统时,第一次将计算摄影的概念引入,这个概念也第一次被大众所熟知。
其实,计算摄影这个概念并不新鲜,最早出现在 94 年就的一篇公开论文中,且认定机内合成 HDR、全景照片以及模拟散景都属于计算摄影范畴。但当时照片的主流载体还是胶片,数码相机才刚刚起步,手机上还没有摄像头。
▲ iPhone 11 Pro 发布会上介绍计算摄影的菲利普・席勒(Philip W. Schiller). 图片来自:Apple
几十年后,影像记录的载体从胶片换成数字,手机拥有了摄像头,计算摄影也从理论中走出,渐渐成为一大潮流。
不过这这潮流跟相机关系不大,相机厂商依然按部就班的提高像素、连拍速度和视频能力,似乎对计算摄影两耳不闻,拍出来的照片(直出)依旧很平庸,渐渐被智能手机「超越」。
与之相反的是, 智能手机芯片的算力越来越强,AI、算法、机器学习介入的范围也更广,图像的演绎方法越来越多,最终经过一系列「算法」处理过的照片也愈发好看。
现在,很多人出门更愿意用手机记录、分享,而相机越来越少见,这也反应在二者的市场表现上,智能手机市场增速强劲,相机市场则连年萎缩,甚至 DC(卡片相机)都渐渐消失。
这时,就有人会问了,既然智能手机随手一拍所得照片的观感这么好,为何传统的相机厂商不去跟随计算摄影的潮流,考虑提高照片直出的观感呢?
是相机算力不够,算不过来?这个问题我们先从「核心」谈起。
手机的核心是 SoC,它集成了 CPU、GPU、ISP、NPU 以及基带等,可以让你打电话、拍照、看视频、玩游戏、上网等操作,也直接决定了手机的性能。
而相机的核心部件是图像传感器(CMOS),除了元件面积外,跟手机差不多,作成像与感光。另外,控制整套相机系统的中央处理芯片叫做图像处理器(Image Processor)。
以索尼的 BIONZ X 图像处理器为例(α7 系列御用),它包括 SoC 和 ISP 芯片,并没有将 ISP 集成在 SoC 内,优点是索尼可以自行根据 CMOS 的性能需求,而自行增加 ISP 芯片的数量(α7RIII 的 BIONZ X 就配备了双 ISP),缺点就是集成化程度没有手机那么高。
BIONZ X 中 SoC 的作用跟手机的类似,控制操控界面与相机功能,性能要求并不高。对图像传感器采集的「数据」进行拜尔转型、解马赛克、降噪、锐化等操作,多是依靠 ISP,最终把 CMOS 采集的数据转换成相机的实时取景。在这个过程中,相机的 ISP 不涉及计算过程,只是把照片当做流水线上的产品,进行统一的处理。