第一部分 NeRF入门__eol__1 NeRF简介 2__eol__1.1 何谓NeRF 2__eol__1.1.1 光栅化渲染与可微渲染 3__eol__1.1.2 人工建模与自动建模 4__eol__1.1.3 离散表示法与连续表示法 5__eol__1.2 三维表达方式演化史与对比 7__eol__1.2.1 点云 7__eol__1.2.2 三维网格 8__eol__1.2.3 体素网格 9__eol__1.2.4 占据网络 10__eol__1.2.5 NeRF 11__eol__1.3 NeRF的行业现状和推动者 12__eol__1.3.1 国外主要实验室 12__eol__1.3.2 国内主要实验室 14__eol__1.4 如何阅读本书 15__eol__1.4.1 本书的结构 15__eol__1.4.2 本书面向的读者 16__eol__1.4.3 代码要求 16__eol__1.4.4 写作风格 17__eol__2 NeRF基础知识 18__eol__2.1 三维空间基础 18__eol__2.1.1 坐标系、点与向量 18__eol__2.1.2 刚体运动的欧氏变换 22__eol__2.1.3 变换矩阵与齐次坐标 24__eol__2.1.4 四元数 25__eol__2.1.5 小结 26__eol__2.2 三维视觉与图形学基础 27__eol__2.2.1 相机模型 27__eol__2.2.2 辐射测量基础 31__eol__2.2.3 光源 33__eol__2.2.4 简单材质建模与着色 34__eol__2.2.5 复杂材质建模与着色 38__eol__2.2.6 光线追踪 40__eol__2.3 深度学习基础 42__eol__2.3.1 神经网络基础 44__eol__2.3.2 基于神经网络学习的核心 45__eol__2.3.3 小结 50__eol__2.4 质量评价方法基础 50__eol__2.4.1 二维平面空间质量评价 50__eol__2.4.2 三维立体空间质量评价 52__eol__2.5 总结 53__eol__3 NeRF的技术细节 54__eol__3.1 NeRF解决的问题 54__eol__3.1.1 辐射场 55__eol__3.1.2 神经辐射场 55__eol__3.2 小试牛刀：NeRF原理介绍与代码实现 57__eol__3.2.1 数据准备 57__eol__3.2.2 环境准备 58__eol__3.2.3 数据加载 60__eol__3.2.4 生成射线 64__eol__3.2.5 位置编码 66__eol__3.2.6 MLP的结构 68__eol__3.2.7 分层采样 72__eol__3.2.8 体渲染技术 76__eol__3.2.9 射线渲染 78__eol__3.2.10 训练过程 81__eol__3.2.11 模型渲染过程 85__eol__3.2.12 小结 86__eol__3.3 NeRF的开源项目：nerfstudio 87__eol__3.3.1 nerfstudio的安装 88__eol__3.3.2 nerfstudio的架构 90__eol__3.3.3 nerfstudio的运行方法 92__eol__3.3.4 nerfstudio的调试方法 96__eol__3.3.5 整合自定义的算法模型 99__eol__3.3.6 小结 103__eol__3.4 NeRF常用的数据集 104__eol__3.4.1公开的数据集 104__eol__3.4.2构造自定义的数据集 113__eol__3.5总结 113__eol__第二部分 NeRF进阶探索__eol__4优化NeRF的生成与渲染速度 115__eol__ 4.1基于多MLP的加速方法 116__eol__ 4.1.1 kiloNeRF的架构 116__eol__ 4.1.2采样优化方法加速训练和推理 117__eol__ 4.1.3蒸馏方法提升重建质量 118__eol__ 4.2取代神经网络的方法 119__eol__ 4.2.1 PlenOctrees 119__eol__ 4.2.2 Plenoxels 124__eol__ 4.3体素网格与MLP混合表达的方法 126__eol__ 4.3.1 DVGO场景表达方法 126__eol__ 4.3.2 DVGO快速优化方法 128__eol__ 4.4基于多分辨率网格的速度提升方法 130__eol__ 4.4.1多分辨率网格表达方法 130 __eol__4.4.2哈希存储 131__eol__ 4.4.3 Instant-NGP的实现 132__eol__ 4.5基于张量分解的速度提升方法 133__eol__ 4.5.1张量分解方法 133__eol__ 4.5.2基于张量分解方法的神经场TensoRF 135__eol__ 4.5.3 TensoRF的实现 136__eol__ 4.6基于烘焙方法的超实时渲染方法 136__eol__ 4.6.1开山之作：SNeRG 137__eol__ 4.6.2进一步优化的MERF 141__eol__ 4.6.3支持超高速渲染的MobileNeRF 143__eol__ 4.7 NeRF结合点云的速度提升方法 148__eol__ 4.7.1 Point-NeRF场景表达方法 149__eol__ 4.7.2 Point-NeRF神经点云的重建方法 149__eol__ 4.7.3非Point-NeRF生成点云的优化方法 150__eol__ 4.8基于硬件的NeRF加速的方法 151__eol__ 4.8.1当前NeRF训练算法的性能分析 152__eol__ 4.8.2 Instant-3D算法的设计 153__eol__ 4.8.3 Instant-3D硬件加速器的设计 154__eol__ 4.8.4性能结果 155__eol__ 4.9总结 155__eol__ 5提升NeRF的生成与渲染质量 157__eol__ 5.1反走样类提升方法 157__eol__ 5.1.1反走样的开山之作Mip-NeRF 158__eol__ 5.1.2应对无界场景锯齿效应的Mip-NeRF360 167__eol__ 5.1.3快速反走样算法Zip-NeRF 171__eol__5.1.4基于三平面的反走样算法Tri-MipRF 174__eol__ 5.2提升几何重建质量的方法 177__eol__ 5.2.1神经隐式曲面生成算法 178__eol__ 5.2.2 NeuS2：NeuS的加速与动态支持升级 184__eol__ 5.2.3重建质量再次升级的Neuralangelo 187__eol__ 5.3飘浮物去除方法 189__eol__ 5.3.1 NeRFBuster：消除场景中的鬼影 190__eol__ 5.3.2 Bayes’Rays：不确定性即飘浮物 192__eol__ 5.4总结 195__eol__ 6动态场景NeRF的探索和进展 196__eol__ 6.1基于变形场的方法 197__eol__ 6.1.1早期基于变形场的动态方法D-NeRF 197__eol__ 6.1.2动态自拍场景的方法Nerfies 199__eol__ 6.1.3基于超空间的动态场景重建方法HyperNeRF 202__eol__ 6.2基于动静分离建模的方法 204__eol__ 6.2.1动态场景解耦方法D2NeRF 204__eol__ 6.2.2更通用的动静分离方法NeRFPlayer 208__eol__ 6.3基于三平面的方法 210__eol__ 6.3.1四维空间建模方法Hex-Plane 210__eol__ 6.3.2更通用的多维平面建模方法K-Planes 213__eol__ 6.4基于流式动态建模的方法 216__eol__ 6.4.1 OD-NeRF的框架 217__eol__ 6.4.2基于投影颜色引导的动态NeRF 218__eol__ 6.4.3占据网络的转移与更新 218__eol__ 6.5总结 219__eol__ 7弱条件NeRF生成 220__eol__ 7.1稀疏视角的NeRF重建方法 220__eol__ 7.1.1基于策略优化与正则化的生成方法 221__eol__ 7.1.2基于图像特征提取的生成方法 224__eol__ 7.1.3基于几何监督的生成方法 235__eol__ 7.2无相机位姿的NeRF重建方法 242__eol__ 7.2.1静态无相机位姿重建方法 242__eol__ 7.2.2动态场景弱相机位姿重建方法RoDynRF 245__eol__ 7.3弱图像采集条件NeRF重建方法 250__eol__ 7.3.1采集图像偏暗的重建方法 250__eol__ 7.3.2采集图像模糊的重建方法 255__eol__ 7.4总结 257__eol__第三部分 NeRF实践__eol__8 NeRF的其他关键技术 259__eol__ 8.1将NeRF导出为三维网格的方法 259__eol__ 8.1.1传统导出三维网格模型的方法 260__eol__ 8.1.2基于NeRF的三维网格导出方法NeRF2Mesh 261__eol__ 8.2 NeRF的逆渲染与重照明技术 264__eol__