- 中国铁道出版社
- 9787113314521
- 1版
- 559911
- 16开
- 2024-11
- 计算机类
- 高职
内容简介
本书针对职业教育“人工智能”课程编写。全书共14课，包括从人工智能起步、语言模型及其发展、大语言模型定义、大语言模型架构、人工数据标注、大语言模型预训练数据、组织大语言模型开发、大语言模型智能体、强化学习方法、提示工程技术、微调与检索增强生成、大语言模型应用框架、技术伦理与限制、面向通用人工智能等。本书理论与实践结合，可使读者深入了解人工智能领域和自然语言处理领域的最新技术和研究成果，提升专业技能与竞争力。本书适合作为高等职业院校人工智能、大数据等相关专业的教材，也可供对人工智能以及大语言模型相关领域感兴趣的读者阅读参考。
目录
目录
第1课 从人工智能起步1
1.1 人工智能概述2
1.1.1 “智能”的概念2
1.1.2 人工智能的历史3
1.1.3 人工智能定义3
1.1.4 人工智能大师4
1.2 人工智能实现途径5
1.3 人工智能知识要点6
1.3.1 计算机建模6
1.3.2 机器学习7
1.3.3 监督学习与无监督学习7
1.3.4 人工神经网络与深度学习9
1.4 大数据助力人工智能9
1.4.1 大数据三个思维转变10
1.4.2 大数据思维特点和原则10
1.4.3 大数据与人工智能相辅相成10
1.5 定义生成式人工智能11
1.5.1 关键特征和类型11
1.5.2 世界模型问题12
1.5.3 知识传递和语言支持13
1.5.4 开源和闭源14
作业14
【实训与思考】了解典型的大语言模型16
第2课 语言模型及其发展18
2.1 语言模型的定义19
2.2 语言模型发展的三个阶段20
2.2.1 基础模型阶段20
2.2.2 能力探索阶段20
2.2.3 突破发展阶段21
2.3 Transformer模型21
2.3.1 Transformer核心21
2.3.2 Transformer过程22
2.3.3 Transformer结构25
2.3.4 Transformer模块26
2.4 混合专家架构27
作业30
【实训与思考】熟悉阿里云大模型“通义千问”32
第3课 大语言模型定义35
3.1 Blockhead思维实验36
3.2 大语言模型的定义37
3.3 大语言模型工作原理37
3.3.1 大模型的研究基础38
3.3.2 词元及其标记化39
3.3.3 基础模型39
3.3.4 词嵌入及其含义40
3.3.5 基于Transformer模型40
3.3.6 自注意力机制41
3.3.7 生成和理解42
3.3.8 预训练过程与微调42
3.4 大模型的幻觉43
3.4.1 幻觉的分类43
3.4.2 产生幻觉的原因44
3.4.3 检测大模型病症45
3.4.4 减轻幻觉45
作业46
【实训与思考】字节跳动的AI产品：豆包48
第4课 大语言模型架构51
4.1 生成式预训练语言模型52
4.2 大语言模型生成技术53
4.2.1 思维链54
4.2.2 上下文学习58
4.2.3 指令微调59
4.2.4 零样本/少样本59
4.2.5 训练策略及优化59
4.3 多模态语言模型60
4.3.1 多模态指令微调61
4.3.2 多模态上下文学习61
4.3.3 多模态思维链61
4.3.4 大模型辅助视觉推理62
4.4 大语言模型的结构62
4.4.1 关键组成与设计原则62
4.4.2 稀疏注意力机制分类64
4.5 应用技术架构65
作业66
【实训与思考】熟悉百度大模型“文心一言”68
第5课 人工数据标注72
5.1 知识表示方法73
5.1.1 知识的概念73
5.1.2 知识表示的定义74
5.1.3 知识表示的过程75
5.2 数据标注概述75
5.3 数据标注分类76
5.3.1 图像标注77
5.3.2 语音标注78
5.3.3 3D点云标注78
5.3.4 文本标注79
5.4 执行数据标注79
5.4.1 制定标注规则79
5.4.2 数据标注过程80
5.4.3 标注团队管理82
5.5 智能数据标注83
作业83
【实训与思考】熟悉Globe Explorer智能搜索引擎85
第6课 大语言模型预训练数据87
6.1 数据来源89
6.1.1 通用数据89
6.1.2 专业数据90
6.2 数据处理91
6.2.1 质量过滤91
6.2.2 冗余去除92
6.2.3 隐私消除92
6.2.4 词元切分93
6.3 数据影响分析93
6.3.1 数据规模94
6.3.2 数据质量94
6.4 典型的开源数据集95
6.4.1 Pile数据集95
6.4.2 ROOTS96
6.5 数据集面临的挑战97
6.5.1 规模和质量待提升98
6.5.2 大模型与数据集相辅相成98
6.5.3 标准规范需健全99
6.5.4 存储性能待提高99
6.6 训练集、测试集、验证集的异同100
6.6.1 训练、测试与验证数据集的不同之处100
6.6.2 训练、测试与验证数据集的相似之处101
作业103
【实训与思考】熟悉科大讯飞大模型“讯飞星火认知”105
第7课 组织大语言模型开发109
7.1 大模型开发流程110
7.2 大模型数据处理112
7.2.1 数据采集112
7.2.2 数据清洗和预处理113
7.2.3 数据标注113
7.2.4 数据集划分114
7.2.5 模型设计114
7.2.6 模型初始化115
7.2.7 模型训练116
7.2.8 模型验证116
7.2.9 模型保存117
7.2.10 模型测试117
7.2.11 模型部署118
7.3 分而治之的思想118
7.3.1 分布式计算119
7.3.2 消息传递接口119
7.3.3 MapReduce模型120
7.3.4 批处理和流处理121
7.4 分布式训练与策略122
7.4.1 分布式训练概述122
7.4.2 数据并行性124
7.4.3 模型并行性124
7.4.4 流水线并行性125
7.4.5 混合并行126
7.4.6 分布式训练集群架构126
作业127
【实训与思考】程序员：文心大模型开发代码智能体129
第8课 大语言模型智能体131
8.1 智能体和环境132
8.2 智能体的良好行为133
8.2.1 性能度量133
8.2.2 理性133
8.3 环境的本质134
8.3.1 指定任务环境134
8.3.2 任务环境的属性135
8.4 智能体的结构137
8.4.1 智能体程序138
8.4.2 学习型智能体139
8.4.3 智能体组件的工作140
8.5 构建大模型智能体141
作业142
【实训与思考】人形机器人创业独角兽Figure AI144
第9课 强化学习方法146
9.1 强化学习概述147
9.1.1 强化学习的定义147
9.1.2 不同于监督和无监督学习148
9.1.3 不同于传统机器学习149
9.1.4 大模型的强化学习150
9.1.5 先验知识与标注数据151
9.2 强化学习基础151
9.2.1 基于模型与免模型环境151
9.2.2 探索与利用152
9.2.3 片段还是连续任务153
9.2.4 网络模型设计153
9.3 强化学习分类154
9.3.1 从奖励中学习154
9.3.2 被动与主动强化学习155
9.3.3 学徒学习155
9.4 深度强化学习156
作业157
【实训与思考】熟悉文生视频大模型Sora159
第10课 提示工程技术163
10.1 提示工程的定义164
10.2 提示的原理166
10.2.1 提示构成166
10.2.2 提示调优167
10.3 提示工程167
10.3.1 链式思考提示168
10.3.2 生成知识提示168
10.3.3 少样本提示 169
10.3.4 自一致提示169
10.3.5 思维树提示170
10.3.6 提示的通用技巧171
10.4 提示学习和语境学习172
10.4.1 提示学习172
10.4.2 语境学习174
10.4.3 提示学习与语境学习的关系175
作业175
【实验与思考】文生图：注册使用Midjourney绘图工具177
第11课 微调与检索增强生成180
11.1 微调的原因181
11.2 微调工程定义181
11.2.1 微调工程关键步骤182
11.2.2 上下文窗口扩展183
11.2.3 手动构建指令183
11.2.4 自动构建指令183
11.3 技术路线与流行方案185
11.3.1 微调技术路线185
11.3.2 提示微调185
11.3.3 前缀微调185
11.3.4 LoRA方法185
11.3.5 QLoRA方法186
11.4 检索增强生成技术186
11.4.1 信息检索基础186
11.4.2 检索增强生成的定义187
11.4.3 检索增强生成核心组成187
11.4.4 检索增强生成工作原理188
11.5 检索增强生成与微调对比188
作业189
【实训与思考】熟悉智谱华章大模型“智谱”192
第12课 大语言模型应用框架197
12.1 大语言模型哲学问题198
12.1.1 组成性198
12.1.2 天赋论与语言习得198
12.1.3 语言理解与基础199
12.2 大语言模型应用流程199
12.2.1 确定需求大小200
12.2.2 数据收集201
12.2.3 数据集预处理201
12.2.4 大模型预训练201
12.2.5 任务微调与部署202
12.3 大语言模型应用场景203
12.3.1 大模型典型应用领域203
12.3.2 大模型助力医疗诊断204
作业207
【实训与思考】精通垃圾分类的ZenRobotics机器人209
第13课 技术伦理与限制212
13.1 人工智能面临的伦理挑战213
13.1.1 人工智能与人类的关系213
13.1.2 人与智能机器的沟通214
13.2 数据隐私保护对策 215
13.2.1 数据主权和数据权问题215
13.2.2 数据利用失衡问题215
13.2.3 构建隐私保护伦理准则216
13.2.4 健全道德伦理约束机制216
13.3 人工智能伦理原则217
13.3.1 职业伦理准则的目标217
13.3.2 创新发展道德伦理宣言218
13.3.3 欧盟可信赖的伦理准则219
13.4 大模型的知识产权保护220
13.4.1 Midjourney绘画工具220
13.4.2 尊重隐私，保障安全，促进开放222
13.4.3 边缘群体的数字平等222
作业222
【实训与思考】人工智能独立完成的视觉艺术品无法获得版权224
第14课 面向通用人工智能226
14.1 生成式人工智能层次227
14.1.1 应用层227
14.1.2 平台层227
14.1.3 模型层228
14.1.4 基础设施层228
14.2 人工智能生成内容229
14.2.1 内容孪生230
14.2.2 内容编辑230
14.2.3 内容生成的应用230
14.3 视频作为新的决策语言231
14.4 人工智能发展愿景233
14.4.1 大模型用于智能制造234
14.4.2 预测人类行为的新模型234
14.5 通用人工智能涌现236
14.5.1 通用人工智能定义236
14.5.2 大模型与通用人工智能236
14.5.3 通用人工智能的关键特性237
14.5.4 从生成式人工智能迈向通用人工智能238
作业239
【实训与思考】利用人工智能生成内容完成人机交互界面设计241
附 录 245
附录A 作业参考答案245
附录B 课程学习与实训总结246
参考文献 250
第1课 从人工智能起步1
1.1 人工智能概述2
1.1.1 “智能”的概念2
1.1.2 人工智能的历史3
1.1.3 人工智能定义3
1.1.4 人工智能大师4
1.2 人工智能实现途径5
1.3 人工智能知识要点6
1.3.1 计算机建模6
1.3.2 机器学习7
1.3.3 监督学习与无监督学习7
1.3.4 人工神经网络与深度学习9
1.4 大数据助力人工智能9
1.4.1 大数据三个思维转变10
1.4.2 大数据思维特点和原则10
1.4.3 大数据与人工智能相辅相成10
1.5 定义生成式人工智能11
1.5.1 关键特征和类型11
1.5.2 世界模型问题12
1.5.3 知识传递和语言支持13
1.5.4 开源和闭源14
作业14
【实训与思考】了解典型的大语言模型16
第2课 语言模型及其发展18
2.1 语言模型的定义19
2.2 语言模型发展的三个阶段20
2.2.1 基础模型阶段20
2.2.2 能力探索阶段20
2.2.3 突破发展阶段21
2.3 Transformer模型21
2.3.1 Transformer核心21
2.3.2 Transformer过程22
2.3.3 Transformer结构25
2.3.4 Transformer模块26
2.4 混合专家架构27
作业30
【实训与思考】熟悉阿里云大模型“通义千问”32
第3课 大语言模型定义35
3.1 Blockhead思维实验36
3.2 大语言模型的定义37
3.3 大语言模型工作原理37
3.3.1 大模型的研究基础38
3.3.2 词元及其标记化39
3.3.3 基础模型39
3.3.4 词嵌入及其含义40
3.3.5 基于Transformer模型40
3.3.6 自注意力机制41
3.3.7 生成和理解42
3.3.8 预训练过程与微调42
3.4 大模型的幻觉43
3.4.1 幻觉的分类43
3.4.2 产生幻觉的原因44
3.4.3 检测大模型病症45
3.4.4 减轻幻觉45
作业46
【实训与思考】字节跳动的AI产品：豆包48
第4课 大语言模型架构51
4.1 生成式预训练语言模型52
4.2 大语言模型生成技术53
4.2.1 思维链54
4.2.2 上下文学习58
4.2.3 指令微调59
4.2.4 零样本/少样本59
4.2.5 训练策略及优化59
4.3 多模态语言模型60
4.3.1 多模态指令微调61
4.3.2 多模态上下文学习61
4.3.3 多模态思维链61
4.3.4 大模型辅助视觉推理62
4.4 大语言模型的结构62
4.4.1 关键组成与设计原则62
4.4.2 稀疏注意力机制分类64
4.5 应用技术架构65
作业66
【实训与思考】熟悉百度大模型“文心一言”68
第5课 人工数据标注72
5.1 知识表示方法73
5.1.1 知识的概念73
5.1.2 知识表示的定义74
5.1.3 知识表示的过程75
5.2 数据标注概述75
5.3 数据标注分类76
5.3.1 图像标注77
5.3.2 语音标注78
5.3.3 3D点云标注78
5.3.4 文本标注79
5.4 执行数据标注79
5.4.1 制定标注规则79
5.4.2 数据标注过程80
5.4.3 标注团队管理82
5.5 智能数据标注83
作业83
【实训与思考】熟悉Globe Explorer智能搜索引擎85
第6课 大语言模型预训练数据87
6.1 数据来源89
6.1.1 通用数据89
6.1.2 专业数据90
6.2 数据处理91
6.2.1 质量过滤91
6.2.2 冗余去除92
6.2.3 隐私消除92
6.2.4 词元切分93
6.3 数据影响分析93
6.3.1 数据规模94
6.3.2 数据质量94
6.4 典型的开源数据集95
6.4.1 Pile数据集95
6.4.2 ROOTS96
6.5 数据集面临的挑战97
6.5.1 规模和质量待提升98
6.5.2 大模型与数据集相辅相成98
6.5.3 标准规范需健全99
6.5.4 存储性能待提高99
6.6 训练集、测试集、验证集的异同100
6.6.1 训练、测试与验证数据集的不同之处100
6.6.2 训练、测试与验证数据集的相似之处101
作业103
【实训与思考】熟悉科大讯飞大模型“讯飞星火认知”105
第7课 组织大语言模型开发109
7.1 大模型开发流程110
7.2 大模型数据处理112
7.2.1 数据采集112
7.2.2 数据清洗和预处理113
7.2.3 数据标注113
7.2.4 数据集划分114
7.2.5 模型设计114
7.2.6 模型初始化115
7.2.7 模型训练116
7.2.8 模型验证116
7.2.9 模型保存117
7.2.10 模型测试117
7.2.11 模型部署118
7.3 分而治之的思想118
7.3.1 分布式计算119
7.3.2 消息传递接口119
7.3.3 MapReduce模型120
7.3.4 批处理和流处理121
7.4 分布式训练与策略122
7.4.1 分布式训练概述122
7.4.2 数据并行性124
7.4.3 模型并行性124
7.4.4 流水线并行性125
7.4.5 混合并行126
7.4.6 分布式训练集群架构126
作业127
【实训与思考】程序员：文心大模型开发代码智能体129
第8课 大语言模型智能体131
8.1 智能体和环境132
8.2 智能体的良好行为133
8.2.1 性能度量133
8.2.2 理性133
8.3 环境的本质134
8.3.1 指定任务环境134
8.3.2 任务环境的属性135
8.4 智能体的结构137
8.4.1 智能体程序138
8.4.2 学习型智能体139
8.4.3 智能体组件的工作140
8.5 构建大模型智能体141
作业142
【实训与思考】人形机器人创业独角兽Figure AI144
第9课 强化学习方法146
9.1 强化学习概述147
9.1.1 强化学习的定义147
9.1.2 不同于监督和无监督学习148
9.1.3 不同于传统机器学习149
9.1.4 大模型的强化学习150
9.1.5 先验知识与标注数据151
9.2 强化学习基础151
9.2.1 基于模型与免模型环境151
9.2.2 探索与利用152
9.2.3 片段还是连续任务153
9.2.4 网络模型设计153
9.3 强化学习分类154
9.3.1 从奖励中学习154
9.3.2 被动与主动强化学习155
9.3.3 学徒学习155
9.4 深度强化学习156
作业157
【实训与思考】熟悉文生视频大模型Sora159
第10课 提示工程技术163
10.1 提示工程的定义164
10.2 提示的原理166
10.2.1 提示构成166
10.2.2 提示调优167
10.3 提示工程167
10.3.1 链式思考提示168
10.3.2 生成知识提示168
10.3.3 少样本提示 169
10.3.4 自一致提示169
10.3.5 思维树提示170
10.3.6 提示的通用技巧171
10.4 提示学习和语境学习172
10.4.1 提示学习172
10.4.2 语境学习174
10.4.3 提示学习与语境学习的关系175
作业175
【实验与思考】文生图：注册使用Midjourney绘图工具177
第11课 微调与检索增强生成180
11.1 微调的原因181
11.2 微调工程定义181
11.2.1 微调工程关键步骤182
11.2.2 上下文窗口扩展183
11.2.3 手动构建指令183
11.2.4 自动构建指令183
11.3 技术路线与流行方案185
11.3.1 微调技术路线185
11.3.2 提示微调185
11.3.3 前缀微调185
11.3.4 LoRA方法185
11.3.5 QLoRA方法186
11.4 检索增强生成技术186
11.4.1 信息检索基础186
11.4.2 检索增强生成的定义187
11.4.3 检索增强生成核心组成187
11.4.4 检索增强生成工作原理188
11.5 检索增强生成与微调对比188
作业189
【实训与思考】熟悉智谱华章大模型“智谱”192
第12课 大语言模型应用框架197
12.1 大语言模型哲学问题198
12.1.1 组成性198
12.1.2 天赋论与语言习得198
12.1.3 语言理解与基础199
12.2 大语言模型应用流程199
12.2.1 确定需求大小200
12.2.2 数据收集201
12.2.3 数据集预处理201
12.2.4 大模型预训练201
12.2.5 任务微调与部署202
12.3 大语言模型应用场景203
12.3.1 大模型典型应用领域203
12.3.2 大模型助力医疗诊断204
作业207
【实训与思考】精通垃圾分类的ZenRobotics机器人209
第13课 技术伦理与限制212
13.1 人工智能面临的伦理挑战213
13.1.1 人工智能与人类的关系213
13.1.2 人与智能机器的沟通214
13.2 数据隐私保护对策 215
13.2.1 数据主权和数据权问题215
13.2.2 数据利用失衡问题215
13.2.3 构建隐私保护伦理准则216
13.2.4 健全道德伦理约束机制216
13.3 人工智能伦理原则217
13.3.1 职业伦理准则的目标217
13.3.2 创新发展道德伦理宣言218
13.3.3 欧盟可信赖的伦理准则219
13.4 大模型的知识产权保护220
13.4.1 Midjourney绘画工具220
13.4.2 尊重隐私，保障安全，促进开放222
13.4.3 边缘群体的数字平等222
作业222
【实训与思考】人工智能独立完成的视觉艺术品无法获得版权224
第14课 面向通用人工智能226
14.1 生成式人工智能层次227
14.1.1 应用层227
14.1.2 平台层227
14.1.3 模型层228
14.1.4 基础设施层228
14.2 人工智能生成内容229
14.2.1 内容孪生230
14.2.2 内容编辑230
14.2.3 内容生成的应用230
14.3 视频作为新的决策语言231
14.4 人工智能发展愿景233
14.4.1 大模型用于智能制造234
14.4.2 预测人类行为的新模型234
14.5 通用人工智能涌现236
14.5.1 通用人工智能定义236
14.5.2 大模型与通用人工智能236
14.5.3 通用人工智能的关键特性237
14.5.4 从生成式人工智能迈向通用人工智能238
作业239
【实训与思考】利用人工智能生成内容完成人机交互界面设计241
附 录 245
附录A 作业参考答案245
附录B 课程学习与实训总结246
参考文献 250
