编辑:好困 Aeneas
【新智元导读】谷歌一年前的论文突然火了!这个名叫RawNeRF的技术,不仅完美降噪,还能改变视角,调整焦点和曝光等等。难道,我们距离超强的夜景拍照相机不远了?最近,网上一段来自谷歌的AI夜景拍摄视频被刷爆了!
视频中的这个技术叫RawNeRF,顾名思义就是NeRF的一个全新变体。
NeRF是一种全连接神经网络,使用2D图像的信息作为训练数据,还原出3D场景。
RAWNeRF比起之前的NeRF,有了多处改进。不仅能完美降噪,还能改变相机视角,调整焦点、曝光和色调映射。
谷歌的这篇论文于2021年11月发表,并被CVPR 2022收录。
项目地址:https://bmild.github.io/rawnerf/
黑夜中的RawNeRF在此之前,NeRF是使用色调映射的低动态范围LDR图像作为输入。
而谷歌的RawNeRF改为直接在线性原始图像上进行训练,可以保留场景的完整动态范围。
在合成视图领域,处理黑暗的照片一直是一个难题。
因为在这种情况下,图像中的细节极少。而且这些图像让我们很难把新视图拼接到一起。
还好,我们有一个新的方案——使用原始传感器(RAW sensor data)的数据。
就是像这样的一张图,这样,我们就有了更多的细节。
不过,仍然存在一个问题:噪点也多了。