萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
现在居家看电影,大伙儿还是更愿意用电视。
毕竟在同等条件下,电视的屏显和画质摆在那里,手机再怎么升级屏幕,沉浸感还是没有电视好。
BUT,就在最新一期天玑旗舰技术沟通会上,联发科却突然宣布,成功把电视上的画质“秘籍”搬到手机上来了——
要知道在智能电视市场,联发科智能电视芯片至今已助力累计超过20亿台电视产品在全球各地上市,是这一领域的领导厂商,画质增强技术更是早有积淀。
电视技术移至到手机上带来了两点好处,一方面,画质品质更高了;另一方面,用到手机拍照甚至拍视频上,可以节省算力进一步提升能效。
要知道,这可是各大头部电视厂商都在用的画质技术,有几家才刚安排到新产品上。
此前手机虽然也get了不少影像处理技能,但和高端电视比起来还是要低调一些。
这究竟是怎么做到的?
把电视画质技术搬手机上来了最新的电视技术全称AI景深画质增强技术(AI Depth PQ),目前这项技术已经被用在不少电视上。
既然如此,联发科脑洞大开:为什么不能将这类AI画质优化相关技术直接用到手机拍照、视频实时处理上,直接改善成片效果?
具体来说,通过AI来进行画质增强的技术又可以被分为几类技术,包括AI图像语义分割技术、景深估计技术和智能优化技术等。
其中最重要也是整个技术的核心,就是AI图像语义分割技术。
这项技术本身并不复杂,核心思路就是将场景中的不同物体按照“描边”的方式分割成几个区域,每个区域中的所有像素都可以用相同的标签来标记:
△例如像素4标签路人,像素3标签蓝天
但用在手机智能拍照上,又有至少三大考验:
AI的理解能力,如何合理切分照片的前景和背景;AI的决策能力,如何选择各区域的优化算法;受限于手机体积,AI算法的功耗不能太大……
例如,上图中站在背后的路人、和毯子上正在拍照的两个主角,虽然都属于“人”这一标签,但需要进行的处理却截然不同,一个需要抠图并智能消除、另一个需要智能美颜算法:
又例如,即使是被划分为“背景”的部分,在进行处理时也有不同的算法需求,像照片中的“普通蓝天”需要被优化甚至智能替换成“更讨好眼球的蓝天”,而草地色彩则需要被调整得更明亮一点。
再例如,想将这个技术扩大到视频拍摄中,像电视处理电影那样实时进行,AI图像语义分割技术又不能占用太多算力,不然直接掉帧甚至快速掉电……