△4K30帧视频(约800多万像素/帧)需要的算力是800万照片的33倍
针对这几点,联发科对应地研发了几种算法,来“配合”语义分割算法打出组合拳。
首先,结合场景识别优化语义分割算法,使得AI不仅能区分前景(如人像、动物等)和背景,还能进一步识别不同种类的背景,如建筑、天空、绿地、植物和水池等。
然后,就是AI区域画质增强技术(AI Region PQ)了。
将照片分割成前景和不同区域的背景后,AI会针对每个区域的物体特性,分析并选取最合适的优化算法,“拆分式”地优化照片不同区域的效果。
例如针对蓝天的优化,基于色彩增强算法让天色看起来更明亮;针对建筑物的优化,则主要在对比度和锐利度上,如结合超分辨率等算法,让建筑物的窗户等细节看起来更清晰……
最后,还能基于语义分割算法降低视频的算力,实现精确对焦。
此前,针对视频的实时追焦算法往往是进行逐帧追焦,通过计算帧间差异来调整清晰度,这样不仅耗费算力,甚至可能降低视频的流畅度。
相比之下,采用语义分割算法区分出前景后,只需要针对前景区域进行侦测和追焦就行,背景则不需要再耗费更多算力去进行优化,就省去了不少算力。
这样一来,不仅照片和视频都实现了实时算法优化,甚至相比原来还节省了一大波算力,例如4K30帧视频和8K30帧视频拍摄所需算力,都降低到了原来的1/4。
同时,联发科也针对AI算法在硬件处理上进行了对应的优化,包括提升APU的能效等,进一步降低AI景深画质增强技术在手机上消耗的算力。
事实上,这也并非联发科第一次针对手机AI技术进行布局了。
用AI突破计算摄影瓶颈从2018年开始,联发科开始将计算摄影作为手机芯片算法的研发重点。
当年10月份推出的Helio P70处理器,着重提升了多帧降噪 (MFNR)方面的性能,即通过一次性拍摄多张照片,随后通过计算每个位置对应的多层像素均值进行输出,提升照片的清晰度。
这其中涉及大量算法的优化,尤其是拍摄多张照片并进行处理的速度,当年Helio P70针对多帧降噪算法进行优化后提升了约20%的性能。
然而,在计算摄影研发过程中,团队在计算机视觉方面遇到了一些算法优化极限。
适逢更多AI算法在手机端优化落地,计算摄影团队的重心也逐渐转到AI技术研发上。
一方面是芯片上有关AI算力的提升。
最早从2018年Helio P90强调提升AI算力速度、同时推出包含剪枝在内一系列优化算法的AI计算平台NeuroPilot v2.0,到2020年的天玑1000 的MiraVision画质引擎和APU3.0;
再到2021年至今强调的“每瓦有效算力”指标,即APU长时间运行的功率大致在1W左右,联发科在这方面强调的始终是“开源节流”,优化AI的能耗。
也就是说,尽可能在不增加功耗的情况下,提升手机上AI算法运行的效果。
另一方面则是不断改进AI算法的性能。
而从整体研究范围来看,联发科这几年也一直在提升对于AI的重视程度,包括进行贝叶斯优化、元学习相关的机器学习研究,相关论文发表在NeurIPS、ICLR等顶会上。
这其中就有与影像处理相关的研究,例如提出了一个名为CycleNet的框架,旨在提升AI识别拍摄场景中较深物体(即相对镜头的距离较远)的能力。
具体来说,CycleNet借鉴了“神经元会和处理相同图像中具有相同特征物体的神经元产生联系”等一系列生物神经元处理信息的特点,来设计整体的框架逻辑,提升AI在处理较小较模糊的目标时整体的识别准确率。
至于我们多久会在手机上见到这样的AI技术?还得看联发科的速度了(doge)
还有哪些手机技能待点亮?随着AI落地的技术越来越多,手机应用似乎也在进一步逼近想象力的极限。
甚至有一种观点认为,目前能提升手机性能和创造力的就只有AI技术了。
然而事实真是如此吗?