目录
前言
上篇 基础理论篇
第1章 绪论 3
1.1 研究背景 3
1.2 研究意义 5
参考文献 6
第2章 相关基础理论 8
2.1 相关术语与名词解释 8
2.1.1 多模态与融合基础术语 8
2.1.2 图像结构、显著性与统计特性 9
2.1.3 特征空间、深度学习网络模型 9
2.1.4 目标检测与定位 11
2.2 数字图像处理基础理论 11
2.2.1 红外与可见光图像 11
2.2.2 图像预处理与特征变换方法 13
2.2.3 图像质量评价指标 21
2.3 深度学习理论基础 25
2.3.1 神经网络基本结构 25
2.3.2 神经网络的训练 28
2.3.3 典型神经网络 31
参考文献 34
第3章 图像融合 38
3.1 红外与可见光图像融合的技术本质 38
3.2 跨模态融合需解决的关键技术问题 39
3.2.1 模态差异导致的空间对齐问题 39
3.2.2 模态间信息分布差异与特征权重选择问题 39
3.3 传统融合方法 40
3.3.1 像素级融合方法 40
3.3.2 基于变换域的融合方法 41
3.3.3 基于统计特性的融合方法 44
3.4 基于深度学习的融合方法 45
3.4.1 基于卷积神经网络的图像融合方法 45
3.4.2 基于生成对抗网络的图像融合方法 47
3.4.3 基于Transformer结构的图像融合方法 50
参考文献 52
第4章 目标检测 54
4.1 目标检测系统框架 54
4.1.1 单阶段与双阶段目标检测器 56
4.1.2 非极大值抑制 57
4.2 目标检测的技术本质 58
4.3 目标检测关键技术 58
4.3.1 多尺度特征学习 58
4.3.2 上下文信息利用 60
4.4 检测性能与评价指标 62
4.4.1 精确率与召回率 62
4.4.2 平均精度 63
4.4.3 平均召回率 63
4.4.4 FPS与模型推理效率指标 63
4.5 典型目标检测网络 64
4.5.1 Faster R？CNN 64
4.5.2 YOLO 66
4.5.3 DETR 67
参考文献 69
下篇 应用研究篇
第5章 基于变换域PCNN的近红外与彩色可见光融合 73
5.1 研究背景 73
5.2 融合模型 74
5.2.1 融合算法 74
5.2.2 CSC颜色校正 77
5.3 实验结果与分析 78
5.4 结论 80
参考文献 80
第6章 基于混合模型驱动的红外与可见光图像融合 82
6.1 研究背景 82
6.1.1 红外与可见光成像互补性与融合目标 82
6.1.2 现有技术范式及其局限性分析 83
6.1.3 混合模型驱动思想：分解—定制融合—重建的必要性 84
6.2 融合模型 86
6.2.1 混合模型驱动的多层次分解框架 86
6.2.2 显著子带融合 88
6.2.3 基础子带低频系数融合 89
6.2.4 基础子带高频系数融合 91
6.3 实验结果与分析 91
6.3.1 参数设置 91
6.3.2 可行性分析 92
6.3.3 有效性分析 94
6.4 结论 97
参考文献 97
第7章 基于N？RGAN模型的红外与可见光图像融合 99
7.1 研究背景 99
7.2 融合模型 103
7.2.1 模型理论基础 103
7.2.2 N？RGAN总体融合框架 106
7.2.3 高频子带融合策略 108
7.2.4 低频子带融合策略 111
7.2.5 损失函数设计 111
7.3 实验结果与分析 114
7.3.1 实验设置 114
7.3.2 主观视觉评价分析 114
7.3.3 客观定量评价分析 115
7.4 结论 117
参考文献 118
第8章 双向特征融合与聚焦损失的轨道异物侵限检测 120
8.1 研究背景 120
8.2 融合模型 121
8.2.1 网络整体架构 121
8.2.2 GhostNet特征提取网络 122
8.2.3 基于无参注意力机制的双向特征融合结构 122
8.2.4 损失函数设计 123
8.2.5 数据与模型配置 124
8.3 实验结果与分析 124
8.3.1 复杂环境下的单类别目标侵限检测 124
8.3.2 复杂环境下的多类别目标侵限检测 125
8.3.3 本章模型与异物侵限模型性能对比 126
8.3.4 本章模型与主流模型的性能对比 126
8.3.5 S？GhostNet有效性验证 127
8.3.6 Sim？DFPN有效性验证 127
8.3.7 Focaler？EIoU有效性验证 128
8.4 结论 129
参考文献 129
第9章 动态感知与特征增强的轨道异物检测 132
9.1 研究背景 132
9.2 融合模型 135
9.2.1 RF？IB整体结构 135
9.2.2 反向瓶颈模块 135
9.2.3 特征重用模块 137
9.2.4 自适应上采样模块 138
9.2.5 Anchor？free网络 139
9.2.6 损失函数设计 139
9.2.7 异物侵限区域划分 140
9.3 实验结果与分析 142
9.3.1 数据采集 142
9.3.2 评价指标 143
9.3.3 不同光照条件下多目标侵限检测实验 144
9.3.4 目标运动条件下侵限检测实验 146
9.3.5 模型检测效果综合性能分析 148
9.3.6 模型鲁棒性实验分析 149
9.3.7 特征重用模块对比实验 151
9.3.8 整体消融实验分析 152
9.4 结论 153
参考文献 153
第10章 基于感知增强与多尺度融合的小目标车辆检测 156
10.1 研究背景 156
10.2 融合模型 157
10.2.1 Swin Transformer网络 158
10.2.2 改进的Swin Transformer主干网络 158
10.2.3 空间局部特征感知块 159
10.2.4 多尺度特征融合网络 160
10.2.5 Anchor？free机制 163
10.3 实验结果与分析 163
10.3.1 数据集和评价指标 163
10.3.2 平台及参数设置 164
10.3.3 不同模型间的对比实验 164
10.3.4 车辆目标预测结果 165
10.3.5 消融实验 167
10.4 结论 168
参考文献 168
彩图