自然语言处理：基于大语言模型的方法 / 人工智能前沿技术丛书
定价：￥158.00
作者： 车万翔
出版时间：2026-01
出版社：电子工业出版社
- 电子工业出版社
- 9787121495984
- 1-3
- 16开
- 2026-01
- 600
- 工学
- 计算机类
- 计算机科学与技术
- 本科 研究生及以上
内容简介
自然语言处理被誉为“人工智能皇冠上的明珠”。深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于大语言模型的方法，已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练语言模型和大语言模型的自然语言处理技术。本书包括基础知识、预训练语言模型和大语言模型三部分：基础知识部分主要介绍自然语言处理和深度学习的基础知识、基本工具集和常用数据集；预训练语言模型部分主要介绍语言模型、预训练词向量、预训练语言模型的实现方法和应用；大语言模型部分首先介绍大语言模型的预训练方法，其次介绍大语言模型的适配、应用和评估方法，接着介绍基于预训练语言模型思想的各种延伸技术，最后以DeepSeek 系列模型为例，介绍大语言模型的最新技术进展。除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch 代码实现，让读者不仅能对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。
目录
目录
推荐序III
推荐语IV
前言VI
数学符号X
第1 部分基础知识
第1 章绪论2
1.1 自然语言处理的概念3
1.2 自然语言处理的难点.3
1.3 自然语言处理任务体系5
1.3.1 任务层级5
1.3.2 任务类别6
1.3.3 研究对象与层次6
1.4 自然语言处理技术发展历史7
第2 章自然语言处理基础11
2.1 文本的表示12
2.1.1 词的独热表示12
2.1.2 词的分布表示13
2.1.3 词嵌入表示18
2.1.4 文本的词袋表示18
2.2 自然语言处理任务19
2.2.1 自然语言处理基础任务19
2.2.2 自然语言处理应用任务25
2.3 基本问题30
2.3.1 文本分类问题30
2.3.2 结构预测问题30
2.3.3 序列到序列问题33
2.4 评价指标34
2.4.1 自然语言理解类任务的评价指标35
2.4.2 自然语言生成类任务的评价指标36
2.5 小结37
第3 章基础工具集与常用数据集38
3.1 tiktoken 子词切分工具39
3.2 NLTK 工具集40
3.2.1 常用语料库和词典资源41
3.2.2 常用自然语言处理工具集43
3.3 LTP 工具集45
3.3.1 中文分词45
3.3.2 其他中文自然语言处理功能45
3.4 PyTorch 基础46
3.4.1 张量的基本概念46
3.4.2 张量的基本运算47
3.4.3 自动微分 51
3.4.4 调整张量形状52
3.4.5 广播机制53
3.4.6 索引与切片54
3.4.7 降维与升维54
3.5 大规模预训练数据集55
3.5.1 维基百科数据55
3.5.2 原始数据的获取55
3.5.3 语料处理方法56
3.5.4 其他文本预训练数据集59
3.5.5 文本预训练数据集讨论60
3.6 更多数据集60
3.7 小结62
第4 章自然语言处理中的神经网络基础63
4.1 多层感知器模型64
4.1.1 感知器64
4.1.2 线性回归64
4.1.3 Logistic 回归65
4.1.4 Softmax 回归66
4.1.5 多层感知器67
4.1.6 模型实现68
4.2 卷积神经网络70
4.2.1 模型结构70
4.2.2 模型实现72
4.3 循环神经网络74
4.3.1 模型结构74
4.3.2 长短时记忆网络75
4.3.3 模型实现77
4.3.4 基于循环神经网络的序列到序列模型79
4.4 Transformer 模型79
4.4.1 注意力机制79
4.4.2 自注意力模型80
4.4.3 Transformer81
4.4.4 基于Transformer 的序列到序列模型85
4.4.5 Transformer 模型的优缺点85
4.4.6 PyTorch 内置模型实现 86
4.5 神经网络模型的训练87
4.5.1 损失函数87
4.5.2 梯度下降89
4.6 自然语言处理中的神经网络实战92
4.6.1 情感分类实战92
4.6.2 词性标注实战102
4.7 小结104
第2 部分预训练语言模型
第5 章语言模型107
5.1 语言模型的基本概念108
5.2 N 元语言模型108
5.2.1 N 元语言模型的基本概念108
5.2.2 N 元语言模型的实现109
5.2.3 N 元语言模型的平滑111
5.3 神经网络语言模型112
5.3.1 前馈神经网络语言模型113
5.3.2 循环神经网络语言模型114
5.3.3 Transformer 语言模型116
5.3.4 基于神经网络语言模型生成文本 117
5.4 语言模型的实现118
5.4.1 数据准备 118
5.4.2 前馈神经网络语言模型119
5.4.3 循环神经网络语言模型122
5.4.4 Transformer 语言模型125
5.5 语言模型性能评价129
5.6 小结130
第6 章预训练词向量131
6.1 预训练静态词向量132
6.1.1 基于神经网络语言模型的静态词向量预训练132
6.1.2 Word2vec 词向量132
6.1.3 负采样135
6.1.4 GloVe 词向量136
6.1.5 模型实现137
6.1.6 评价与应用143
6.2 预训练动态词向量148
6.2.1 双向语言模型149
6.2.2 ELMo 词向量151
6.2.3 模型实现 152
6.2.4 评价与应用162
6.3 小结 164
第7 章预训练语言模型166
7.1 概述167
7.2 Decoder-only 模型167
7.2.1 GPT 168
7.2.2 GPT-2 172
7.2.3 GPT-3 173
7.3 Encoder-only 模型174
7.3.1 BERT 174
7.3.2 RoBERTa 185
7.3.3 ALBERT 189
7.3.4 ELECTRA 191
7.3.5 MacBERT 194
7.3.6 模型对比196
7.4 Encoder-Decoder 模型196
7.4.1 T5 197
7.4.2 BART 198
7.5 预训练模型的任务微调：NLU 类201
7.5.1 单句文本分类202
7.5.2 句对文本分类205
7.5.3 阅读理解207
7.5.4 序列标注211
7.6 预训练模型的任务微调：NLG 类216
7.6.1 文本生成216
7.6.2 机器翻译217
7.7 小结220
第3 部分 大语言模型
第8 章 大语言模型的预训练222
8.1 大语言模型的基本结构223
8.1.1 Llama 223
8.1.2 Mixtral 226
8.1.3 缩放法则228
8.1.4 常见大语言模型对比230
8.2 注意力机制的优化230
8.2.1 稀疏注意力231
8.2.2 多查询注意力与分组查询注意力233
8.2.3 FlashAttention 234
8.3 位置编码策略237
8.3.1 RoPE 237
8.3.2 ALiBi 240
8.4 长上下文处理策略242
8.4.1 位置插值法242
8.4.2 基于NTK 的方法245
8.4.3 LongLoRA 246
8.4.4 YaRN 247
8.5 并行训练策略251
8.5.1 数据并行251
8.5.2 模型并行252
8.5.3 流水线并行254
8.5.4 混合并行254
8.5.5 零冗余优化255
8.5.6 DeepSpeed 256
8.6 小结257
第9 章大语言模型的适配258
9.1 引言259
9.2 基于提示的推断259
9.2.1 提示工程260
9.2.2 检索与工具增强267
9.3 多任务指令微调269
9.3.1 现有数据集转换271
9.3.2 自动生成指令数据集271
9.3.3 指令微调的实现273
9.4 基于人类反馈的强化学习276
9.4.1 基于人类反馈的强化学习算法的原理276__
推荐序III
推荐语IV
前言VI
数学符号X
第1 部分基础知识
第1 章绪论2
1.1 自然语言处理的概念3
1.2 自然语言处理的难点.3
1.3 自然语言处理任务体系5
1.3.1 任务层级5
1.3.2 任务类别6
1.3.3 研究对象与层次6
1.4 自然语言处理技术发展历史7
第2 章自然语言处理基础11
2.1 文本的表示12
2.1.1 词的独热表示12
2.1.2 词的分布表示13
2.1.3 词嵌入表示18
2.1.4 文本的词袋表示18
2.2 自然语言处理任务19
2.2.1 自然语言处理基础任务19
2.2.2 自然语言处理应用任务25
2.3 基本问题30
2.3.1 文本分类问题30
2.3.2 结构预测问题30
2.3.3 序列到序列问题33
2.4 评价指标34
2.4.1 自然语言理解类任务的评价指标35
2.4.2 自然语言生成类任务的评价指标36
2.5 小结37
第3 章基础工具集与常用数据集38
3.1 tiktoken 子词切分工具39
3.2 NLTK 工具集40
3.2.1 常用语料库和词典资源41
3.2.2 常用自然语言处理工具集43
3.3 LTP 工具集45
3.3.1 中文分词45
3.3.2 其他中文自然语言处理功能45
3.4 PyTorch 基础46
3.4.1 张量的基本概念46
3.4.2 张量的基本运算47
3.4.3 自动微分 51
3.4.4 调整张量形状52
3.4.5 广播机制53
3.4.6 索引与切片54
3.4.7 降维与升维54
3.5 大规模预训练数据集55
3.5.1 维基百科数据55
3.5.2 原始数据的获取55
3.5.3 语料处理方法56
3.5.4 其他文本预训练数据集59
3.5.5 文本预训练数据集讨论60
3.6 更多数据集60
3.7 小结62
第4 章自然语言处理中的神经网络基础63
4.1 多层感知器模型64
4.1.1 感知器64
4.1.2 线性回归64
4.1.3 Logistic 回归65
4.1.4 Softmax 回归66
4.1.5 多层感知器67
4.1.6 模型实现68
4.2 卷积神经网络70
4.2.1 模型结构70
4.2.2 模型实现72
4.3 循环神经网络74
4.3.1 模型结构74
4.3.2 长短时记忆网络75
4.3.3 模型实现77
4.3.4 基于循环神经网络的序列到序列模型79
4.4 Transformer 模型79
4.4.1 注意力机制79
4.4.2 自注意力模型80
4.4.3 Transformer81
4.4.4 基于Transformer 的序列到序列模型85
4.4.5 Transformer 模型的优缺点85
4.4.6 PyTorch 内置模型实现 86
4.5 神经网络模型的训练87
4.5.1 损失函数87
4.5.2 梯度下降89
4.6 自然语言处理中的神经网络实战92
4.6.1 情感分类实战92
4.6.2 词性标注实战102
4.7 小结104
第2 部分预训练语言模型
第5 章语言模型107
5.1 语言模型的基本概念108
5.2 N 元语言模型108
5.2.1 N 元语言模型的基本概念108
5.2.2 N 元语言模型的实现109
5.2.3 N 元语言模型的平滑111
5.3 神经网络语言模型112
5.3.1 前馈神经网络语言模型113
5.3.2 循环神经网络语言模型114
5.3.3 Transformer 语言模型116
5.3.4 基于神经网络语言模型生成文本 117
5.4 语言模型的实现118
5.4.1 数据准备 118
5.4.2 前馈神经网络语言模型119
5.4.3 循环神经网络语言模型122
5.4.4 Transformer 语言模型125
5.5 语言模型性能评价129
5.6 小结130
第6 章预训练词向量131
6.1 预训练静态词向量132
6.1.1 基于神经网络语言模型的静态词向量预训练132
6.1.2 Word2vec 词向量132
6.1.3 负采样135
6.1.4 GloVe 词向量136
6.1.5 模型实现137
6.1.6 评价与应用143
6.2 预训练动态词向量148
6.2.1 双向语言模型149
6.2.2 ELMo 词向量151
6.2.3 模型实现 152
6.2.4 评价与应用162
6.3 小结 164
第7 章预训练语言模型166
7.1 概述167
7.2 Decoder-only 模型167
7.2.1 GPT 168
7.2.2 GPT-2 172
7.2.3 GPT-3 173
7.3 Encoder-only 模型174
7.3.1 BERT 174
7.3.2 RoBERTa 185
7.3.3 ALBERT 189
7.3.4 ELECTRA 191
7.3.5 MacBERT 194
7.3.6 模型对比196
7.4 Encoder-Decoder 模型196
7.4.1 T5 197
7.4.2 BART 198
7.5 预训练模型的任务微调：NLU 类201
7.5.1 单句文本分类202
7.5.2 句对文本分类205
7.5.3 阅读理解207
7.5.4 序列标注211
7.6 预训练模型的任务微调：NLG 类216
7.6.1 文本生成216
7.6.2 机器翻译217
7.7 小结220
第3 部分 大语言模型
第8 章 大语言模型的预训练222
8.1 大语言模型的基本结构223
8.1.1 Llama 223
8.1.2 Mixtral 226
8.1.3 缩放法则228
8.1.4 常见大语言模型对比230
8.2 注意力机制的优化230
8.2.1 稀疏注意力231
8.2.2 多查询注意力与分组查询注意力233
8.2.3 FlashAttention 234
8.3 位置编码策略237
8.3.1 RoPE 237
8.3.2 ALiBi 240
8.4 长上下文处理策略242
8.4.1 位置插值法242
8.4.2 基于NTK 的方法245
8.4.3 LongLoRA 246
8.4.4 YaRN 247
8.5 并行训练策略251
8.5.1 数据并行251
8.5.2 模型并行252
8.5.3 流水线并行254
8.5.4 混合并行254
8.5.5 零冗余优化255
8.5.6 DeepSpeed 256
8.6 小结257
第9 章大语言模型的适配258
9.1 引言259
9.2 基于提示的推断259
9.2.1 提示工程260
9.2.2 检索与工具增强267
9.3 多任务指令微调269
9.3.1 现有数据集转换271
9.3.2 自动生成指令数据集271
9.3.3 指令微调的实现273
9.4 基于人类反馈的强化学习276
9.4.1 基于人类反馈的强化学习算法的原理276__
