自然语言处理：大模型理论与实践 / 数据科学与大数据管理丛书
定价：￥69.00
作者： 赵宇，任福继
出版时间：2025-10-21
出版社：机械工业出版社
- 机械工业出版社
- 9787111780380
- 1-1
- 562625
- 平装
- 2025-10-21
- 496
内容简介
《自然语言处理——大模型：通向AGI之路》是一本全面介绍大语言模型的教材，旨在帮助读者掌握这一前沿人工智能技术。本教材首先从自然语言处理基础和神经网络原理出发，逐步引领读者深入了解大语言模型的构建与训练方法。通过系统讲解Transformer架构，使读者能够理解其核心机制。与传统的教材不同，本书强调实践与应用。通过大量实例，读者将学会如何利用大语言模型进行自然语言生成、文本分类、情感分析等任务，极大地拓展了应用领域。
本教材内容丰富，步骤详细，解释了基本概念，并提供了实用示例。读者将首先了解NLP是什么以及关键理论技术，特别是如何通过大型模型来完成NLP中的各种任务。随后，读者将学习当前广泛的自然语言处理和大语言模型相关技术，并了解每种技术的最佳应用场景，包括新的大型语言模型（LLMs）。在此过程中，本书将介绍相关的自然语言处理Python库。读者不仅将学习NLP的基础知识，还将了解许多实际问题，如获取数据、评估系统、改善系统结果和部署NLP应用程序。
本教材的独特之处在于深入剖析了模型训练和优化的关键步骤，为读者提供了优化模型性能的实用方法。本教材适合不同程度的自然语言处理和深度学习基础的学生、研究人员以及从业者。无论你是计算机科学、人工智能、数据科学等相关领域的学习者，还是希望应用大语言模型于实际场景的专业人士，本教材都将成为你深入研究这一领域的得力助手。
本教材内容丰富，步骤详细，解释了基本概念，并提供了实用示例。读者将首先了解NLP是什么以及关键理论技术，特别是如何通过大型模型来完成NLP中的各种任务。随后，读者将学习当前广泛的自然语言处理和大语言模型相关技术，并了解每种技术的最佳应用场景，包括新的大型语言模型（LLMs）。在此过程中，本书将介绍相关的自然语言处理Python库。读者不仅将学习NLP的基础知识，还将了解许多实际问题，如获取数据、评估系统、改善系统结果和部署NLP应用程序。
本教材的独特之处在于深入剖析了模型训练和优化的关键步骤，为读者提供了优化模型性能的实用方法。本教材适合不同程度的自然语言处理和深度学习基础的学生、研究人员以及从业者。无论你是计算机科学、人工智能、数据科学等相关领域的学习者，还是希望应用大语言模型于实际场景的专业人士，本教材都将成为你深入研究这一领域的得力助手。
目录
目录
主编简介
序 言
前 言
主要符号表
第 1 章 绪论 /1
1.1 自然语言处理概述 /1
1.2 自然语言处理简史 /2
1.3 自然语言处理传统研究
内容 /3
1.4 自然语言处理与大模型发展
现状 /33
1.5 本书内容安排 /34
1.6 讨论 /35
1.7 习题 /35
第 1 部分 语言模型基础
第 2 章 词向量 /38
2.1 概述 /38
2.2 文本表示方法 /39
2.3 Word2Vec 模型 /40
2.4 GloVe 模型 /44
2.5 ELMo 模型 /46
2.6 讨论 /48
2.7 习题 /48
第 3 章 统计语言模型 /50
3.1 概述 /50
3.2 N-gram 模型 /51
3.3 平滑技术 /53
3.4 讨论 /55
3.5 习题 /56
第 4 章 神经语言模型 /58
4.1 概述 /58
4.2 神经概率语言模型 /59
4.3 基于循环神经网络的语言
模型 /62
4.4 讨论 /67
4.5 习题 /68
第 5 章 预训练语言模型 /69
5.1 概述 /69
5.2 Seq2Seq 模型 /70
5.3 注意力机制 /74
5.4 Transformer 模型 /76
5.5 重要的预训练语言模型 /88
5.6 语言模型使用范式 /93
5.7 讨论 /94
5.8 习题 /95
第 2 部分 大模型理论
第 6 章 大语言模型架构 /98
6.1 概述 /98
6.2 基于 Transformer 的模型
架构 /99
IX
6.3 基于非 Transformer 的
模型架构 /103
6.4 大模型架构配置 /108
6.5 讨论 /112
6.6 习题 /112
第 7 章 多模态大模型架构 /113
7.1 概述 /113
7.2 ViT 模型 /114
7.3 CLIP 模型 /117
7.4 BLIP 模型 /121
7.5 BLIP-2 模型 /125
7.6 讨论 /128
7.7 习题 /128
第 8 章 大模型预训练 /129
8.1 概述 /129
8.2 预训练数据工程 /129
8.3 预训练方法 /137
8.4 讨论 /143
8.5 习题 /143
第 9 章 大模型微调 /144
9.1 概述 /144
9.2 指令微调 /145
9.3 对齐微调 /155
9.4 微调算法 /164
9.5 讨论 /165
9.6 习题 /165
第 10 章 提示工程 /167
10.1 概述 /167
10.2 提示工程基础 /168
10.3 情景学习 /176
10.4 思维链 /178
10.5 提示工程安全 /184
10.6 讨论 /187
10.7 习题 /187
第 11 章 涌现 /189
11.1 概述 /189
11.2 涌现现象 /190
11.3 大模型中的涌现 /195
11.4 缩放法则 /199
11.5 大模型可解释性 /202
11.6 讨论 /209
11.7 习题 /210
第 12 章 大模型评估 /211
12.1 概述 /211
12.2 评估方式 /211
12.3 评估任务 /215
12.4 评估指标 /222
12.5 讨论 /230
12.6 习题 /230
第 13 章 探讨 /232
13.1 概述 /232
13.2 基于大模型的智能体和具身
智能 /233
13.3 大模型垂直领域应用 /235
13.4 大模型的挑战与局限 /243
13.5 大模型的社会影响 /247
13.6 讨论 /252
13.7 习题 /252
第 3 部分 大模型实践
第 14 章 大模型本地开发 /256
14.1 概述 /256
14.2 Transformers 编程
基础 /257
14.3 大模型微调 /261
14.4 讨论 /265
X
14.5 习题 /265
第 15 章 基于大模型的应用开发 /266
15.1 概述 /266
15.2 基于 OpenAI 的应用
开发 /267
15.3 基于通义千问的应用
开发 /284
15.4 基于 LangChain 的应用
开发 /287
15.5 讨论 /294
15.6 习题 /294
附录 /296
附录 A 预备知识 /296
附录 B 缩略语表 /328
附录 C 术语表 /329
附录 D 相关学术会议与学术
组织 /331
参考文献 /333
主编简介
序 言
前 言
主要符号表
第 1 章 绪论 /1
1.1 自然语言处理概述 /1
1.2 自然语言处理简史 /2
1.3 自然语言处理传统研究
内容 /3
1.4 自然语言处理与大模型发展
现状 /33
1.5 本书内容安排 /34
1.6 讨论 /35
1.7 习题 /35
第 1 部分 语言模型基础
第 2 章 词向量 /38
2.1 概述 /38
2.2 文本表示方法 /39
2.3 Word2Vec 模型 /40
2.4 GloVe 模型 /44
2.5 ELMo 模型 /46
2.6 讨论 /48
2.7 习题 /48
第 3 章 统计语言模型 /50
3.1 概述 /50
3.2 N-gram 模型 /51
3.3 平滑技术 /53
3.4 讨论 /55
3.5 习题 /56
第 4 章 神经语言模型 /58
4.1 概述 /58
4.2 神经概率语言模型 /59
4.3 基于循环神经网络的语言
模型 /62
4.4 讨论 /67
4.5 习题 /68
第 5 章 预训练语言模型 /69
5.1 概述 /69
5.2 Seq2Seq 模型 /70
5.3 注意力机制 /74
5.4 Transformer 模型 /76
5.5 重要的预训练语言模型 /88
5.6 语言模型使用范式 /93
5.7 讨论 /94
5.8 习题 /95
第 2 部分 大模型理论
第 6 章 大语言模型架构 /98
6.1 概述 /98
6.2 基于 Transformer 的模型
架构 /99
IX
6.3 基于非 Transformer 的
模型架构 /103
6.4 大模型架构配置 /108
6.5 讨论 /112
6.6 习题 /112
第 7 章 多模态大模型架构 /113
7.1 概述 /113
7.2 ViT 模型 /114
7.3 CLIP 模型 /117
7.4 BLIP 模型 /121
7.5 BLIP-2 模型 /125
7.6 讨论 /128
7.7 习题 /128
第 8 章 大模型预训练 /129
8.1 概述 /129
8.2 预训练数据工程 /129
8.3 预训练方法 /137
8.4 讨论 /143
8.5 习题 /143
第 9 章 大模型微调 /144
9.1 概述 /144
9.2 指令微调 /145
9.3 对齐微调 /155
9.4 微调算法 /164
9.5 讨论 /165
9.6 习题 /165
第 10 章 提示工程 /167
10.1 概述 /167
10.2 提示工程基础 /168
10.3 情景学习 /176
10.4 思维链 /178
10.5 提示工程安全 /184
10.6 讨论 /187
10.7 习题 /187
第 11 章 涌现 /189
11.1 概述 /189
11.2 涌现现象 /190
11.3 大模型中的涌现 /195
11.4 缩放法则 /199
11.5 大模型可解释性 /202
11.6 讨论 /209
11.7 习题 /210
第 12 章 大模型评估 /211
12.1 概述 /211
12.2 评估方式 /211
12.3 评估任务 /215
12.4 评估指标 /222
12.5 讨论 /230
12.6 习题 /230
第 13 章 探讨 /232
13.1 概述 /232
13.2 基于大模型的智能体和具身
智能 /233
13.3 大模型垂直领域应用 /235
13.4 大模型的挑战与局限 /243
13.5 大模型的社会影响 /247
13.6 讨论 /252
13.7 习题 /252
第 3 部分 大模型实践
第 14 章 大模型本地开发 /256
14.1 概述 /256
14.2 Transformers 编程
基础 /257
14.3 大模型微调 /261
14.4 讨论 /265
X
14.5 习题 /265
第 15 章 基于大模型的应用开发 /266
15.1 概述 /266
15.2 基于 OpenAI 的应用
开发 /267
15.3 基于通义千问的应用
开发 /284
15.4 基于 LangChain 的应用
开发 /287
15.5 讨论 /294
15.6 习题 /294
附录 /296
附录 A 预备知识 /296
附录 B 缩略语表 /328
附录 C 术语表 /329
附录 D 相关学术会议与学术
组织 /331
参考文献 /333
