目录
序一
序二
序三
丛书序
前言
第1章 绪论 1
1.1 优化问题的定义 1
1.1.1 目标函数 1
1.1.2 约束条件 2
1.1.3 决策变量 3
1.2 数据驱动优化的分类与应用领域 3
1.2.1 数据驱动优化的分类 5
1.2.2 数据驱动优化的应用领域 8
1.3 挑战 10
1.4 小结 13
第2章 数据驱动优化基础 15
2.1 引言 15
2.2 信赖域方法 16
2.2.1 核心思想 17
2.2.2 算法框架 17
2.2.3 实际应用 18
2.3 贝叶斯优化算法 19
2.3.1 算法框架 20
2.3.2 高斯过程 23
2.3.3 获取函数 26
2.4 代理模型辅助的进化算法 29
2.4.1 算法框架 32
2.4.2 代理模型 35
2.4.3 模型管理 37
2.5 多目标数据驱动优化 40
2.5.1 昂贵多目标优化问题 41
2.5.2 算法框架 43
2.6 小结 45
第3章 优化中的数据安全与隐私 47
3.1 引言 47
3.2 数据安全与数据隐私 47
3.2.1 数据的特性：优化视角下的差异 47
3.2.2 数据安全的定义 49
3.2.3 数据隐私的定义 50
3.2.4 数据安全风险和隐私威胁与优化性能的耦合关系 51
3.3 数据驱动优化中的安全风险与隐私威胁 53
3.3.1 威胁模型 53
3.3.2 数据驱动优化的三层攻击面分析 54
3.3.3 数据全生命周期与安全风险/隐私威胁的关联 61
3.4 安全风险与隐私威胁的相应保护方法 66
3.4.1 同态加密 67
3.4.2 安全多方计算 71
3.4.3 区块链技术 74
3.4.4 可信执行环境 76
3.4.5 差分隐私 79
3.4.6 联邦学习 82
3.4.7 零知识证明 88
3.5 联邦数据驱动演化优化 90
3.5.1 联邦学习与联邦优化的区别 90
3.5.2 联邦演化优化问题建模 93
3.5.3 流程与算法框架设计 94
3.5.4 经典的联邦数据驱动的进化算法 95
3.5.5 联邦演化优化的挑战 98
3.6 小结 100
第4章 隐私保护的联邦代理辅助演化优化 102
4.1 引言 102
4.2 预备知识 103
4.2.1 差分隐私随机梯度下降法 103
4.2.2 径向基函数网络 105
4.3 差分隐私下的联邦代理辅助演化优化 109
4.3.1 算法框架 109
4.3.2 安全聚合方案构建 112
4.3.3 最优解的隐私保护方案 114
4.4 理论验证与安全性分析 117
4.4.1 收敛性证明 117
4.4.2 安全性分析 118
4.5 算法有效性分析 120
4.5.1 实验设置与基准任务 120
4.5.2 对比实验分析 124
4.5.3 消融实验分析 130
4.6 小结 134
第5章 隐私保护的多目标演化优化 136
5.1 引言 136
5.2 多目标数据驱动演化优化 137
5.2.1 多目标进化算法 138
5.2.2 代理模型辅助的多目标进化算法 141
5.3 联邦学习先进技术 146
5.3.1 安全聚合 147
5.3.2 威胁模型与隐私保护 148
5.4 贝叶斯优化中的隐私保护机制 149
5.5 联邦数据驱动的多目标进化算法 151
5.6 安全联邦多目标演化优化算法 153
5.6.1 算法框架 153
5.6.2 安全联邦模型管理策略 156
5.6.3 隐私保护分析 157
5.6.4 计算和通信复杂度分析 158
5.7 算法有效性分析 160
5.7.1 实验设置 160
5.7.2 对比实验 160
5.7.3 隐私保护分析讨论 165
5.8 小结 166
第6章 基于知识迁移的联邦多任务优化 167
6.1 引言 167
6.2 多任务优化的基本思想 168
6.2.1 联邦多任务优化的定义 169
6.2.2 多任务优化的先进技术 170
6.2.3 多任务优化与联邦多任务优化的区别 172
6.3 联邦贝叶斯优化先进技术 174
6.4 联邦多任务贝叶斯优化 177
6.4.1 算法框架 177
6.4.2 联邦知识迁移 179
6.4.3 联邦获取函数 182
6.5 算法有效性分析 183
6.5.1 测试函数 183
6.5.2 数据分布 186
6.5.3 实验设置 187
6.5.4 实验结果与分析 189
6.5.5 应用结果分析 195
6.6 小结 199
第7章 基于成对关系的联邦多任务贝叶斯优化 201
7.1 引言 201
7.2 分类器代理模型 202
7.3 贝叶斯优化 205
7.4 竞争粒子群算法 211
7.5 进化多任务优化 214
7.6 基于成对关系的联邦多任务贝叶斯优化算法 217
7.6.1 全局获取函数的构建 221
7.6.2 全局获取函数优化器 222
7.6.3 算法复杂度 223
7.7 算法有效性分析 224
7.7.1 实验设置 224
7.7.2 消融实验 224
7.7.3 对比实验 228
7.7.4 讨论 236
7.8 小结 236
第8章 基于模型蒸馏的联邦多任务数据驱动优化 238
8.1 引言 238
8.2 贝叶斯联邦学习和知识蒸馏先进技术 239
8.2.1 贝叶斯联邦学习 239
8.2.2 知识蒸馏 242
8.3 基于知识蒸馏的联邦优化 246
8.3.1 径向基函数网络辅助数据驱动优化 246
8.3.2 算法框架 246
8.3.3 服务器知识蒸馏 248
8.3.4 客户端样本选择 251
8.3.5 隐私分析和复杂度分析 252
8.4 算法有效性分析 253
8.4.1 测试函数 254
8.4.2 对比算法 256
8.4.3 数据异构实验分析 258
8.4.4 高维优化实验分析 266
8.4.5 消融实验 267
8.4.6 应用分析 269
8.5 小结 271
第9章 基于联邦贝叶斯优化的神经网络架构搜索 273
9.1 引言 273
9.2 神经网络架构搜索基本思想 275
9.2.1 编码方法 276
9.2.2 搜索空间 278
9.2.3 搜索策略 279
9.2.4 性能评估策略 282
9.3 神经网络架构搜索先进技术 283
9.3.1 多目标神经网络架构搜索 283
9.3.2 个性化联邦神经网络架构搜索 284
9.3.3 神经网络架构搜索中的扩散模型 286
9.4 基于本地引导扩散的联邦神经网络架构搜索 287
9.4.1 算法框架 287
9.4.2 基于引导式扩散模型的架构生成 290
9.4.3 客户端的神经网络架构搜索 291
9.4.4 服务器的超网聚合方法 292
9.5 算法有效性分析 292
9.5.1 实验设置 293
9.5.2 参数设置 293
9.5.3 卷积神经网络搜索空间的实验结果 295
9.5.4 消融实验 298
9.5.5 计算与通信成本的分析 299
9.6 小结 301
参考文献 303