怎么拍有声音的照片,有声音的照片怎么做

首页 > 经验 > 作者:YD1662022-11-14 23:33:59


常用去噪数据集

目前去噪数据集的建立方法主要有3种:

  1. 从现有图像数据集获取高质量图像,然后做图像处理(线性变化、亮度调整等)并根据噪声模型添加人工合成的噪声,生成噪声图像。但是这种方法由于噪声是人工合成的,与真实场景中的噪声有差异,故在真实场景下效果欠佳。
  2. 针对同一图像,拍摄低感光度图像作为真值,高感光度图像作为噪声图像,并调整曝光参数来实两张图像亮度一致。这一类方法直接使用低感光度图像作为真值,难免会有噪声残留,并且与噪声图像也可能存在亮度差异和不对齐的问题。
  3. 对同一场景连续拍摄多张图像,然后通过图像配准等方式合成一张真值,这种方式需要拍摄大量图像,工作量比较大,但是最终得到的真值质量比较高。

常见数据集与对应论文:

数据集

GT

场景数量

图片对数

主要领域

说明

相关论文

RENIOR

低ISO

120

240

低光

拍摄了120个暗光场景,包含室内和室外场景。每个场景约4张图像,包含2张有噪声图像和两张低噪图像。

RENOIR - A Dataset for Real Low-Light Image Noise Reduction

Nam-CC15

均值

11

17

物品

包含11个场景,且多是相似物体和纹理。针对这11个场景共拍摄了500张JPEG图像。

A Holistic Approach to Cross-Channel Image Noise Modeling and its Application to Image Denoising

Nam-CC60

均值

11

60

物品

-

-

DND

低ISO

50

50

室内外

拍摄50个场景,包括室内和室外场景。

Benchmarking Denoising Algorithms with Real Photographs

PolyU

均值

40

40

室内外

拍摄了40个场景,包括室内正常光照场景和暗光场景,室外正常光照场景。对每个场景连续拍摄了500次

Real-world Noisy Image Denoising: A New Benchmark

SIDD

均值

200

400

多领域

用5个相机(Google Pixel、iPhone 7、Samsung Galaxy S6 Edge、Motorola Nexus 6、LG G4)在四种相机参数下拍摄了10个场景,200个场景实例,每个场景连续拍摄了150张图像。其中160个场景实例作为训练集,40个场景实例作为测试集(the benchmark)。

A High-Quality Denoising Dataset for Smartphone Cameras

High-ISO

均值

28

110

高ISO

http://cwc.ucsd.edu/sites/cwc.

NIND

低ISO

101

606

多级ISO

IOCI

均值

-

200

多种相机

https://arxiv.org/pdf/2011.0346

深度学习去噪方法估计噪声残差

Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising

在信息处理领域中,学习信号的改变量往往比学习原始信号更加简单,这种思想被用于非常有效的残差网络。DnCNN模型则借鉴了该思路,它不是直接输出去噪图像,而是预测残差图像,即观察噪声图像和潜在的无噪声图像之间的差异。

CNN在VGG的基础上进行修改,网络结构是(卷积、BN、ReLU)级联的结构,模型内部并不像ResNet一样存在跳远连接,而是在网络的输出使用残差学习。结构如下:

怎么拍有声音的照片,有声音的照片怎么做(17)

该网络的特点主要有:

  1. 网络分为三部分,第一部分为Conv Relu(一层),第二部分为Conv BN Relu(若干层),第三部分为Conv(一层),网络层数为17或者20层。
  2. 网络学习的是图像残差,也就是带噪图像和无噪图像差值,损失函数采用的MSE。
  3. 论文中强调了batch normalization的作用
噪声估计模型

Toward Convolutional Blind Denoising of Real Photographs

CBDNet模型是一个真实图像非盲去噪模型,对于RAW格式的图像,它的噪声模型如下:

怎么拍有声音的照片,有声音的照片怎么做(18)

含真实噪声图像=图像信号L 真实噪声信号n(L)。CBDNet模型使用了一个噪声估计子网络估计出噪声水平,然后与原输入图像一起输入基于跳层连接的非盲去噪子网络,其结构如下:

怎么拍有声音的照片,有声音的照片怎么做(19)

1、噪声估计子网络将噪声观测图像转换为估计的噪声水平图像,然后和原图一起输入,使用非盲去噪子网络得到最终的去噪结果,除此之外,噪声估计子网络允许用户在估计的噪声水平图像输入非盲去噪子网络之前对齐调整,其提出了一种简单的策略,即y = ay,即线性缩放,这给模型提供了一种交互式的去噪运算能力。

盲去噪是指在去噪过程中,用于去噪的基础是从有噪声的样本本身学习来的。换句话说,无论我们构建什么样的深度学习体系结构,都应该学习图像中的噪声分布并去噪。所以和往常一样,这都取决于我们提供给深度学习模型的数据类型。非盲去噪则相反。

2、噪声估计子网络损失函数:非对称损失函数( asymmetric loss) 全变差损失函数( total variation)

2.1、非对称损失函数,计算噪声估计图和噪声ground truth的平方差:

怎么拍有声音的照片,有声音的照片怎么做(20)

上一页12345下一页

栏目热文

文档排行

本站推荐

Copyright © 2018 - 2021 www.yd166.com., All Rights Reserved.