- 中国铁道出版社
- 9787113314521
- 1版
- 559911
- 68260702-3
- 16开
- 2024-11
- 工学
- 计算机类
- 电子与信息大类
- 计算机类
- 高职
作者简介
内容简介
本书针对职业教育“人工智能”课程编写。全书共14课，包括从人工智能起步、语言模型及其发展、大语言模型定义、大语言模型架构、人工数据标注、大语言模型预训练数据、组织大语言模型开发、大语言模型智能体、强化学习方法、提示工程技术、微调与检索增强生成、大语言模型应用框架、技术伦理与限制、面向通用人工智能等。本书理论与实践结合，可使读者深入了解人工智能领域和自然语言处理领域的最新技术和研究成果，提升专业技能与竞争力。
本书适合作为高等职业院校人工智能、大数据等相关专业的教材，也可供对人工智能以及大语言模型相关领域感兴趣的读者阅读参考。
本书适合作为高等职业院校人工智能、大数据等相关专业的教材，也可供对人工智能以及大语言模型相关领域感兴趣的读者阅读参考。
目录
目录
第1课从人工智能起步1
1.1人工智能概述2
1.1.1“智能”的概念2
1.1.2人工智能的历史3
1.1.3人工智能定义3
1.1.4人工智能大师4
1.2人工智能实现途径5
1.3人工智能知识要点6
1.3.1计算机建模6
1.3.2机器学习7
1.3.3监督学习与无监督学习7
1.3.4人工神经网络与深度学习9
1.4大数据助力人工智能9
1.4.1大数据三个思维转变10
1.4.2大数据思维特点和原则10
1.4.3大数据与人工智能相辅相成10
1.5定义生成式人工智能11
1.5.1关键特征和类型11
1.5.2世界模型问题12
1.5.3知识传递和语言支持13
1.5.4开源和闭源14
作业14
【实训与思考】了解典型的大语言模型16
第2课语言模型及其发展18
2.1语言模型的定义19
2.2语言模型发展的三个阶段20
2.2.1基础模型阶段20
2.2.2能力探索阶段20
2.2.3突破发展阶段21
2.3Transformer模型21
2.3.1Transformer核心21
2.3.2Transformer过程22
2.3.3Transformer结构25
2.3.4Transformer模块26
2.4混合专家架构27
作业30
【实训与思考】熟悉阿里云大模型“通义千问”32
第3课大语言模型定义35
3.1Blockhead思维实验36
3.2大语言模型的定义37
3.3大语言模型工作原理37
3.3.1大模型的研究基础38
3.3.2词元及其标记化39
3.3.3基础模型39
3.3.4词嵌入及其含义40
3.3.5基于Transformer模型40
3.3.6自注意力机制41
3.3.7生成和理解42
3.3.8预训练过程与微调42
3.4大模型的幻觉43
3.4.1幻觉的分类43
3.4.2产生幻觉的原因44
3.4.3检测大模型病症45
3.4.4减轻幻觉45
作业46
【实训与思考】字节跳动的AI产品：豆包48
第4课大语言模型架构51
4.1生成式预训练语言模型52
4.2大语言模型生成技术53
4.2.1思维链54
4.2.2上下文学习58
4.2.3指令微调59
4.2.4零样本/少样本59
4.2.5训练策略及优化59
4.3多模态语言模型60
4.3.1多模态指令微调61
4.3.2多模态上下文学习61
4.3.3多模态思维链61
4.3.4大模型辅助视觉推理62
4.4大语言模型的结构62
4.4.1关键组成与设计原则62
4.4.2稀疏注意力机制分类64
4.5应用技术架构65
作业66
【实训与思考】熟悉百度大模型“文心一言”68
第5课人工数据标注72
5.1知识表示方法73
5.1.1知识的概念73
5.1.2知识表示的定义74
5.1.3知识表示的过程75
5.2数据标注概述75
5.3数据标注分类76
5.3.1图像标注77
5.3.2语音标注78
5.3.33D点云标注78
5.3.4文本标注79
5.4执行数据标注79
5.4.1制定标注规则79
5.4.2数据标注过程80
5.4.3标注团队管理82
5.5智能数据标注83
作业83
【实训与思考】熟悉GlobeExplorer智能搜索引擎85
第6课大语言模型预训练数据87
6.1数据来源89
6.1.1通用数据89
6.1.2专业数据90
6.2数据处理91
6.2.1质量过滤91
6.2.2冗余去除92
6.2.3隐私消除92
6.2.4词元切分93
6.3数据影响分析93
6.3.1数据规模94
6.3.2数据质量94
6.4典型的开源数据集95
6.4.1Pile数据集95
6.4.2ROOTS96
6.5数据集面临的挑战97
6.5.1规模和质量待提升98
6.5.2大模型与数据集相辅相成98
6.5.3标准规范需健全99
6.5.4存储性能待提高99
6.6训练集、测试集、验证集的异同100
6.6.1训练、测试与验证数据集的不同之处100
6.6.2训练、测试与验证数据集的相似之处101
作业103
【实训与思考】熟悉科大讯飞大模型“讯飞星火认知”105
第7课组织大语言模型开发109
7.1大模型开发流程110
7.2大模型数据处理112
7.2.1数据采集112
7.2.2数据清洗和预处理113
7.2.3数据标注113
7.2.4数据集划分114
7.2.5模型设计114
7.2.6模型初始化115
7.2.7模型训练116
7.2.8模型验证116
7.2.9模型保存117
7.2.10模型测试117
7.2.11模型部署118
7.3分而治之的思想118
7.3.1分布式计算119
7.3.2消息传递接口119
7.3.3MapReduce模型120
7.3.4批处理和流处理121
7.4分布式训练与策略122
7.4.1分布式训练概述122
7.4.2数据并行性124
7.4.3模型并行性124
7.4.4流水线并行性125
7.4.5混合并行126
7.4.6分布式训练集群架构126
作业127
【实训与思考】程序员：文心大模型开发代码智能体129
第8课大语言模型智能体131
8.1智能体和环境132
8.2智能体的良好行为133
8.2.1性能度量133
8.2.2理性133
8.3环境的本质134
8.3.1指定任务环境134
8.3.2任务环境的属性135
8.4智能体的结构137
8.4.1智能体程序138
8.4.2学习型智能体139
8.4.3智能体组件的工作140
8.5构建大模型智能体141
作业142
【实训与思考】人形机器人创业独角兽FigureAI144
第9课强化学习方法146
9.1强化学习概述147
9.1.1强化学习的定义147
9.1.2不同于监督和无监督学习148
9.1.3不同于传统机器学习149
9.1.4大模型的强化学习150
9.1.5先验知识与标注数据151
9.2强化学习基础151
9.2.1基于模型与免模型环境151
9.2.2探索与利用152
9.2.3片段还是连续任务153
9.2.4网络模型设计153
9.3强化学习分类154
9.3.1从奖励中学习154
9.3.2被动与主动强化学习155
9.3.3学徒学习155
9.4深度强化学习156
作业157
【实训与思考】熟悉文生视频大模型Sora159
第10课提示工程技术163
10.1提示工程的定义164
10.2提示的原理166
10.2.1提示构成166
10.2.2提示调优167
10.3提示工程167
10.3.1链式思考提示168
10.3.2生成知识提示168
10.3.3少样本提示169
10.3.4自一致提示169
10.3.5思维树提示170
10.3.6提示的通用技巧171
10.4提示学习和语境学习172
10.4.1提示学习172
10.4.2语境学习174
10.4.3提示学习与语境学习的关系175
作业175
【实验与思考】文生图：注册使用Midjourney绘图工具177
第11课微调与检索增强生成180
11.1微调的原因181
11.2微调工程定义181
11.2.1微调工程关键步骤182
11.2.2上下文窗口扩展183
11.2.3手动构建指令183
11.2.4自动构建指令183
11.3技术路线与流行方案185
11.3.1微调技术路线185
11.3.2提示微调185
11.3.3前缀微调185
11.3.4LoRA方法185
11.3.5QLoRA方法186
11.4检索增强生成技术186
11.4.1信息检索基础186
11.4.2检索增强生成的定义187
11.4.3检索增强生成核心组成187
11.4.4检索增强生成工作原理188
11.5检索增强生成与微调对比188
作业189
【实训与思考】熟悉智谱华章大模型“智谱”192
第12课大语言模型应用框架197
12.1大语言模型哲学问题198
12.1.1组成性198
12.1.2天赋论与语言习得198
12.1.3语言理解与基础199
12.2大语言模型应用流程199
12.2.1确定需求大小200
12.2.2数据收集201
12.2.3数据集预处理201
12.2.4大模型预训练201
12.2.5任务微调与部署202
12.3大语言模型应用场景203
12.3.1大模型典型应用领域203
12.3.2大模型助力医疗诊断204
作业207
【实训与思考】精通垃圾分类的ZenRobotics机器人209
第13课技术伦理与限制212
13.1人工智能面临的伦理挑战213
13.1.1人工智能与人类的关系213
13.1.2人与智能机器的沟通214
13.2数据隐私保护对策 215
13.2.1数据主权和数据权问题215
13.2.2数据利用失衡问题215
13.2.3构建隐私保护伦理准则216
13.2.4健全道德伦理约束机制216
13.3人工智能伦理原则217
13.3.1职业伦理准则的目标217
13.3.2创新发展道德伦理宣言218
13.3.3欧盟可信赖的伦理准则219
13.4大模型的知识产权保护220
13.4.1Midjourney绘画工具220
13.4.2尊重隐私，保障安全，促进开放222
13.4.3边缘群体的数字平等222
作业222
【实训与思考】人工智能独立完成的视觉艺术品无法获得版权224
第14课面向通用人工智能226
14.1生成式人工智能层次227
14.1.1应用层227
14.1.2平台层227
14.1.3模型层228
14.1.4基础设施层228
14.2人工智能生成内容229
14.2.1内容孪生230
14.2.2内容编辑230
14.2.3内容生成的应用230
14.3视频作为新的决策语言231
14.4人工智能发展愿景233
14.4.1大模型用于智能制造234
14.4.2预测人类行为的新模型234
14.5通用人工智能涌现236
14.5.1通用人工智能定义236
14.5.2大模型与通用人工智能236
14.5.3通用人工智能的关键特性237
14.5.4从生成式人工智能迈向通用人工智能238
作业239
【实训与思考】利用人工智能生成内容完成人机交互界面设计241
附录245
附录A作业参考答案245
附录B课程学习与实训总结246
参考文献250
第1课从人工智能起步1
1.1人工智能概述2
1.1.1“智能”的概念2
1.1.2人工智能的历史3
1.1.3人工智能定义3
1.1.4人工智能大师4
1.2人工智能实现途径5
1.3人工智能知识要点6
1.3.1计算机建模6
1.3.2机器学习7
1.3.3监督学习与无监督学习7
1.3.4人工神经网络与深度学习9
1.4大数据助力人工智能9
1.4.1大数据三个思维转变10
1.4.2大数据思维特点和原则10
1.4.3大数据与人工智能相辅相成10
1.5定义生成式人工智能11
1.5.1关键特征和类型11
1.5.2世界模型问题12
1.5.3知识传递和语言支持13
1.5.4开源和闭源14
作业14
【实训与思考】了解典型的大语言模型16
第2课语言模型及其发展18
2.1语言模型的定义19
2.2语言模型发展的三个阶段20
2.2.1基础模型阶段20
2.2.2能力探索阶段20
2.2.3突破发展阶段21
2.3Transformer模型21
2.3.1Transformer核心21
2.3.2Transformer过程22
2.3.3Transformer结构25
2.3.4Transformer模块26
2.4混合专家架构27
作业30
【实训与思考】熟悉阿里云大模型“通义千问”32
第3课大语言模型定义35
3.1Blockhead思维实验36
3.2大语言模型的定义37
3.3大语言模型工作原理37
3.3.1大模型的研究基础38
3.3.2词元及其标记化39
3.3.3基础模型39
3.3.4词嵌入及其含义40
3.3.5基于Transformer模型40
3.3.6自注意力机制41
3.3.7生成和理解42
3.3.8预训练过程与微调42
3.4大模型的幻觉43
3.4.1幻觉的分类43
3.4.2产生幻觉的原因44
3.4.3检测大模型病症45
3.4.4减轻幻觉45
作业46
【实训与思考】字节跳动的AI产品：豆包48
第4课大语言模型架构51
4.1生成式预训练语言模型52
4.2大语言模型生成技术53
4.2.1思维链54
4.2.2上下文学习58
4.2.3指令微调59
4.2.4零样本/少样本59
4.2.5训练策略及优化59
4.3多模态语言模型60
4.3.1多模态指令微调61
4.3.2多模态上下文学习61
4.3.3多模态思维链61
4.3.4大模型辅助视觉推理62
4.4大语言模型的结构62
4.4.1关键组成与设计原则62
4.4.2稀疏注意力机制分类64
4.5应用技术架构65
作业66
【实训与思考】熟悉百度大模型“文心一言”68
第5课人工数据标注72
5.1知识表示方法73
5.1.1知识的概念73
5.1.2知识表示的定义74
5.1.3知识表示的过程75
5.2数据标注概述75
5.3数据标注分类76
5.3.1图像标注77
5.3.2语音标注78
5.3.33D点云标注78
5.3.4文本标注79
5.4执行数据标注79
5.4.1制定标注规则79
5.4.2数据标注过程80
5.4.3标注团队管理82
5.5智能数据标注83
作业83
【实训与思考】熟悉GlobeExplorer智能搜索引擎85
第6课大语言模型预训练数据87
6.1数据来源89
6.1.1通用数据89
6.1.2专业数据90
6.2数据处理91
6.2.1质量过滤91
6.2.2冗余去除92
6.2.3隐私消除92
6.2.4词元切分93
6.3数据影响分析93
6.3.1数据规模94
6.3.2数据质量94
6.4典型的开源数据集95
6.4.1Pile数据集95
6.4.2ROOTS96
6.5数据集面临的挑战97
6.5.1规模和质量待提升98
6.5.2大模型与数据集相辅相成98
6.5.3标准规范需健全99
6.5.4存储性能待提高99
6.6训练集、测试集、验证集的异同100
6.6.1训练、测试与验证数据集的不同之处100
6.6.2训练、测试与验证数据集的相似之处101
作业103
【实训与思考】熟悉科大讯飞大模型“讯飞星火认知”105
第7课组织大语言模型开发109
7.1大模型开发流程110
7.2大模型数据处理112
7.2.1数据采集112
7.2.2数据清洗和预处理113
7.2.3数据标注113
7.2.4数据集划分114
7.2.5模型设计114
7.2.6模型初始化115
7.2.7模型训练116
7.2.8模型验证116
7.2.9模型保存117
7.2.10模型测试117
7.2.11模型部署118
7.3分而治之的思想118
7.3.1分布式计算119
7.3.2消息传递接口119
7.3.3MapReduce模型120
7.3.4批处理和流处理121
7.4分布式训练与策略122
7.4.1分布式训练概述122
7.4.2数据并行性124
7.4.3模型并行性124
7.4.4流水线并行性125
7.4.5混合并行126
7.4.6分布式训练集群架构126
作业127
【实训与思考】程序员：文心大模型开发代码智能体129
第8课大语言模型智能体131
8.1智能体和环境132
8.2智能体的良好行为133
8.2.1性能度量133
8.2.2理性133
8.3环境的本质134
8.3.1指定任务环境134
8.3.2任务环境的属性135
8.4智能体的结构137
8.4.1智能体程序138
8.4.2学习型智能体139
8.4.3智能体组件的工作140
8.5构建大模型智能体141
作业142
【实训与思考】人形机器人创业独角兽FigureAI144
第9课强化学习方法146
9.1强化学习概述147
9.1.1强化学习的定义147
9.1.2不同于监督和无监督学习148
9.1.3不同于传统机器学习149
9.1.4大模型的强化学习150
9.1.5先验知识与标注数据151
9.2强化学习基础151
9.2.1基于模型与免模型环境151
9.2.2探索与利用152
9.2.3片段还是连续任务153
9.2.4网络模型设计153
9.3强化学习分类154
9.3.1从奖励中学习154
9.3.2被动与主动强化学习155
9.3.3学徒学习155
9.4深度强化学习156
作业157
【实训与思考】熟悉文生视频大模型Sora159
第10课提示工程技术163
10.1提示工程的定义164
10.2提示的原理166
10.2.1提示构成166
10.2.2提示调优167
10.3提示工程167
10.3.1链式思考提示168
10.3.2生成知识提示168
10.3.3少样本提示169
10.3.4自一致提示169
10.3.5思维树提示170
10.3.6提示的通用技巧171
10.4提示学习和语境学习172
10.4.1提示学习172
10.4.2语境学习174
10.4.3提示学习与语境学习的关系175
作业175
【实验与思考】文生图：注册使用Midjourney绘图工具177
第11课微调与检索增强生成180
11.1微调的原因181
11.2微调工程定义181
11.2.1微调工程关键步骤182
11.2.2上下文窗口扩展183
11.2.3手动构建指令183
11.2.4自动构建指令183
11.3技术路线与流行方案185
11.3.1微调技术路线185
11.3.2提示微调185
11.3.3前缀微调185
11.3.4LoRA方法185
11.3.5QLoRA方法186
11.4检索增强生成技术186
11.4.1信息检索基础186
11.4.2检索增强生成的定义187
11.4.3检索增强生成核心组成187
11.4.4检索增强生成工作原理188
11.5检索增强生成与微调对比188
作业189
【实训与思考】熟悉智谱华章大模型“智谱”192
第12课大语言模型应用框架197
12.1大语言模型哲学问题198
12.1.1组成性198
12.1.2天赋论与语言习得198
12.1.3语言理解与基础199
12.2大语言模型应用流程199
12.2.1确定需求大小200
12.2.2数据收集201
12.2.3数据集预处理201
12.2.4大模型预训练201
12.2.5任务微调与部署202
12.3大语言模型应用场景203
12.3.1大模型典型应用领域203
12.3.2大模型助力医疗诊断204
作业207
【实训与思考】精通垃圾分类的ZenRobotics机器人209
第13课技术伦理与限制212
13.1人工智能面临的伦理挑战213
13.1.1人工智能与人类的关系213
13.1.2人与智能机器的沟通214
13.2数据隐私保护对策 215
13.2.1数据主权和数据权问题215
13.2.2数据利用失衡问题215
13.2.3构建隐私保护伦理准则216
13.2.4健全道德伦理约束机制216
13.3人工智能伦理原则217
13.3.1职业伦理准则的目标217
13.3.2创新发展道德伦理宣言218
13.3.3欧盟可信赖的伦理准则219
13.4大模型的知识产权保护220
13.4.1Midjourney绘画工具220
13.4.2尊重隐私，保障安全，促进开放222
13.4.3边缘群体的数字平等222
作业222
【实训与思考】人工智能独立完成的视觉艺术品无法获得版权224
第14课面向通用人工智能226
14.1生成式人工智能层次227
14.1.1应用层227
14.1.2平台层227
14.1.3模型层228
14.1.4基础设施层228
14.2人工智能生成内容229
14.2.1内容孪生230
14.2.2内容编辑230
14.2.3内容生成的应用230
14.3视频作为新的决策语言231
14.4人工智能发展愿景233
14.4.1大模型用于智能制造234
14.4.2预测人类行为的新模型234
14.5通用人工智能涌现236
14.5.1通用人工智能定义236
14.5.2大模型与通用人工智能236
14.5.3通用人工智能的关键特性237
14.5.4从生成式人工智能迈向通用人工智能238
作业239
【实训与思考】利用人工智能生成内容完成人机交互界面设计241
附录245
附录A作业参考答案245
附录B课程学习与实训总结246
参考文献250
