我们仍引用一段vivo的官方资料来解释AI-ISP——
“传统ISP能以极低延时处理大量的数据流水,但是只能解决已知的、特定的问题。AI擅长处理复杂的、未知的问题,但是延时较大。
AI-ISP结合两者的优势,相当于给传统ISP芯片加一个新的AI大脑,这个AI大脑的神经元分布是网状结构的,更适合海量的发散式信息处理。相比于传统的架构,AI-ISP能够通过硬件直连的方式将AI计算直接融入ISP Pipeline中,完成数据的无缝缓冲和处理,处理能力、处理能效都有大幅提升。
基于AI-ISP这个架构革新,vivo在下一代自研芯片上实现了三大突破:片上内存单元的突破、AI计算单元的突破、图像处理单元的突破。”
通俗地说,AI-ISP运算可以更快延迟更低(数据吞吐速率达到1.3万亿比特)、能效比更高(峰值能效比达到每瓦16.3万亿次运算),结合全新的算法就可以实现更好的拍摄效果了,比如AI-NR降噪算法让夜景降噪效果提升了20%,HDR影调融合算法让动态范围较之前理论最大提升4EV。
02 算法技术大集合,人像风景全升级
除了硬件方面的升级外,下一代产品的算法技术也有系统性地升级,首先是三个“引擎”,我们引用一段vivo官方的技术资料——
“【臻彩还原引擎】
主要支撑技术为智能AWB和智能白加黑减,能够提升白平衡准确性和大面积“白”“黑”场景的曝光准确性,将vivo的色彩表现和影调观感优化到极致。
【超清画质引擎】
超清画质引擎的典型技术为光学超分算法,通过对镜头的缺陷建模分析,恢复了约35%的损失信息。光学超分算法是实现超清画质的起点,引擎中还有Denoise、Demosaic、Deblur等模块,进行耦合训练,形成了系统性的AI画质方案——超清画质引擎。可以实现多帧画质重建,达到更好的画质和更广的动态范围。
【算力加速引擎】
算力加速引擎,是一套软硬结合的加速方案,vivo基于自研芯片和平台SOC设计研发了CV异构加速引擎和vDNN深度学习加速引擎,是分别针对传统CV算法和AI算法的加速引擎,可支撑多芯结合的异构加速,实现多信息协同并高速处理。”
后两者与上文提到的内容都有所关联不再赘述,这里我们详解说一下臻彩还原引擎。以往我们拍摄白色较多的场景,往往会感觉直出的照片灰突突的,黑色较多的场景,画面反而泛白不能还原肉眼所见。臻彩还原引擎则可以进行智能白加黑减,让曝光准确性更高,画面观感更通透。