图像理论和应用,心理图像理论

首页 > 经验 > 作者:YD1662022-10-25 22:16:43

不同于以前的方法,我们借鉴神经学中一个基本的概念:侧向抑制。这是神经元的激活机制,即通过对比机制来减少临近神经元的激活,同时神经元能够抑制一些神经信号传播,这种方式能够增加神经信号的清晰度。借用这种概念,我们在网络中添加了侧向抑制的机制,以眉毛区域为例,其相邻水平位置激活,相邻竖直位置就会被抑制。引入上述概念后,依托于国家自然科学基金委重点项目[2],我们中心的吴翔等设计了一个轻量级的神经网络 Light CNN [6],该网络具有提炼度高,空间占用小的特点。它在人脸识别以及车辆识别问题上都已经取得了较好的效果。这个网络所具有的结构小而分辨率高的特点能够辅助我们在人脸图像编辑过程中进行身份判别。该工作发表在 IEEE TIFS, 2018 上。目前,该研究工作受到国内外研究者的较大关注,相关代码已经在 github 上公布,依据网络层数不同,分为 LightCNN9 和 LightCNN29 两个版本。

以上四个部分就是我们在研究人脸图像的过程中遇到的基础问题。首先,需要对光的结构比较了解,只有了解了光的信息才有比较好的成像效果;其次,因为图像是给人看的,因此生成的图像要符合人的认知;另外,介绍了一种基本的网络结构,即生成对抗网络,来指导人脸图像的编辑;最后是身份保持损失,目的是希望合成后的人脸图像保持原有的身份信息。这四个部分构成了图像编辑的主要基础部分,当然还有一些其它部分。

二、方法应用

接下来介绍一下我们中心近期做的一些相关研究内容,由于时间关系,主要包括七个主要部分。每个部分在计算机视觉中都是独立的分支,在金融民生或公共安全领域也都有很重要的应用。

1、超分辨率

第一个是图像超分辨率,即在给定低分辨率(LR)输入的情况下估计出高分辨率(HR)图像的问题。例如摄像头采集的图像一般分辨率比较低,如何对它进行超分,得到一张清晰的图像并保持其身份信息,就是我们所研究的内容。

图像理论和应用,心理图像理论(5)

超分算法一般可以分为两大类,一类属于通用的超分算法,例如基于插值的方法、基于图像统计的方法或者基于字典学习等的方法,这类算法适用于所有的图像超分问题。另一类属于特定领域的超分算法,例如基于先验统计的方法,现在也有基于生成模型的方法以及感知损失函数的方法。

图像理论和应用,心理图像理论(6)

图像理论和应用,心理图像理论(7)

我们中心的黄怀波等提出在超分的过程中使用小波分解技术[13]。假设超分图像的每个位置在超分时都依赖于原始的图像对应的地方,这样我们的超分算法不会破坏全局信息。通常,超分问题被建模为一个概率问题。在这种模型中,给定输入的图像,直接预测完整的图像,这个预测过程不能保证是不变的。不同于此,我们在训练时输入一张高清的图像,然后进行小波分解,对分解后的图像分别预测,之后再合成完整高清图像,这样得到的结果就可以尽量避免出现偏差。

2、视角旋转

另外一个比较重要、也是现在各大公司比较关注的人脸视角旋转应用,即将归一化的人脸旋转到任意姿态。例如从一张正脸图像生成侧脸图像;或反之,从采集到的一张侧脸恢复其正脸图像,公安领域常有此需求。

图像理论和应用,心理图像理论(8)

上一页12345下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.