论文地址:
NeRF(Neural Radiance Fields)是一种用于3D场景重建和渲染的深度学习技术。它通过神经网络来学习场景的连续体积表示,能够从稀疏的图片集合中重建出高质量的3D场景,并从新的视角生成逼真的图像。
NeRF的核心思想是利用一个小型的神经网络来建模场景中每个点的颜色和密度。网络接受一个3D位置和一个视角方向作为输入,并输出该位置的颜色和体积密度。通过这种方式,NeRF能够学习到一个连续的、高度详细的场景表示,包括复杂的光照效果和半透明材质。
在渲染过程中,NeRF使用体积渲染技术来累积沿着从摄像机出发穿过场景的光线的贡献。这个过程涉及到对每条光线上多个点的神经网络评估,然后根据每个点的颜色和密度,使用数值积分来估计最终像素的颜色。
NeRF的创新之处在于其能够产生极其细致和逼真的渲染效果,即使是从非常有限的视角信息出发。然而,这种方法的主要缺点是计算成本高,尤其是在渲染时,因为需要对每一帧进行大量的网络评估和积分计算。尽管如此,NeRF及其变体在计算机视觉和图形学领域引起了极大的关注,为3D重建和虚拟现实等应用开辟了新的可能性。
以三维重建作为例子:

如图上所示是图形学渲染的大致流程,存储的Buffers经过Render合成最终的图像。而三维重建就是逆向渲染,反向得到原来的模型。因此三维重建内的工作就是Inverse Rendering。
因为NeRF大致用了体积雾的渲染方式,所以有必要学习下体积雾。常用的一种体积雾渲染方式也是通过Ray marching算法来实现的。

以相机为起始点,向每个像素发射射线,设定雾的起始距离还有步进次数,在步进的过程中进行颜色混合,最终就能达到体积雾的效果。
GLSL代码如下:
for(int i = 0; i < step; i++) {
depth = i * step;
pos = cameraPos + dir * depth;
color += CalculateColor(pos); // 颜色的采样
}
至于高度和噪声相关的,后面有时间再写,重点不是这个。
刚刚可以看到,重点是Ray marching算法。因为采用的是这个算法,所以生成出来的模型是有些雾蒙蒙的感觉的。