自然语言处理 / “101计划”核心教材
定价：￥66.00
作者： 王海峰，杨沐昀，黄河燕，宗成庆等
出版社：高等教育出版社
“101计划”核心教材
- 高等教育出版社
- 9787040651300
- 1版
- 47261574-9
- 16开
- 工学
- 计算机类
- 计算机科学与技术
- 本科
内容简介
本书是人工智能领域本科教育教学改革试点工作（简称“101计划”）系列教材之一。本书从自然语言处理的基本概念出发，介绍自然语言处理的技术原理及经典方法，同时紧跟技术前沿，系统阐述该领域的最新进展及应用实例，帮助读者深入理解并掌握自然语言处理技术。
全书共15章，主要内容包括绪论、自然语言处理基础理论、自然语言的统计建模及经典技术、自然语言处理中的深度学习基础、自然语言处理技术评价、词向量及神经语言模型、大语言模型预训练、大语言模型的有监督微调、大语言模型的强化学习、大语言模型知识增强与模型评价、大语言模型的推理部署、大语言模型应用场景适配、文本分类与情感分析、机器翻译、人机交互。
本书可作为高等学校人工智能、计算机科学与技术专业本科教材或研究生的参考用书，也可供人工智能领域从业者参考。
目录
目录
前辅文
第1章 绪论
1.1 自然语言处理概述
1.1.1 基本概念
1.1.2 自然语言处理面临的挑战
1.2 自然语言处理的研究内容
1.2.1 数据集
1.2.2 典型任务
1.2.3 典型应用研究
1.2.4 语音识别
1.3 发展历史
1.3.1 规则方法
1.3.2 统计方法
1.3.3 深度学习方法
1.3.4 大模型时代
1.4 自然语言处理展望
本章小结
习题1
本章参考文献
第2章 自然语言处理基础理论
2.1 信息论
2.1.1 熵
2.1.2 联合熵
2.1.3 条件熵
2.1.4 交叉熵
2.1.5 相对熵
2.1.6 困惑度
2.2 机器学习概述
2.2.1 有监督学习
2.2.2 无监督学习
2.2.3 自监督学习
2.2.4 强化学习
本章小结
习题2
本章参考文献
第3章 自然语言的统计建模及经典技术
3.1 统计语言模型
3.1.1 模型定义
3.1.2 数据平滑方法
3.2 自然语言处理的经典技术
3.2.1 词法分析
3.2.2 句法分析
3.2.3 语义角色标注
3.3 自然语言处理的典型应用
3.3.1 文本分类
3.3.2 信息抽取
3.3.3 机器翻译
本章小结
习题3
本章参考文献
第4章 自然语言处理中的深度学习基础
4.1 神经网络基础
4.1.1 人工神经网络的生物学基础
4.1.2 常见激活函数
4.2 前馈神经网络
4.2.1 前向传播
4.2.2 损失函数
4.2.3 反向传播
4.3 卷积神经网络
4.3.1 卷积
4.3.2 池化
4.3.3 经典的卷积神经网络
4.4 循环神经网络
4.4.1 循环神经网络
4.4.2 长短时记忆网络
4.4.3 门控循环单元
4.5 Transformer
4.5.1 注意力的基本概念
4.5.2 自注意力模型
4.5.3 多头自注意力机制
4.5.4 Transformer的网络结构
本章小结
习题4
本章参考文献
第5章 自然语言处理技术评价
5.1 自然语言处理评价概述
5.1.1 评价的核心问题
5.1.2 评价的重要意义
5.2 自然语言理解评价
5.2.1 分类问题的评价指标
5.2.2 回归问题的评价指标
5.3 自然语言生成评价
5.3.1 基于统计指标的评价方法
5.3.2 基于预训练模型的评价方法
5.3.3 基于大模型的评价方法
本章小结
习题5
本章参考文献
第6章 词向量及神经语言模型
6.1 文本的向量表示
6.1.1 单词的分布式表示基本概念
6.1.2 基于共现矩阵奇异值分解的词向量模型
6.1.3 基于上下文单词预测的词向量模型
6.1.4 全局向量模型
6.1.5 基于字节对编码的子词表示模型
6.1.6 单词的分布式表示的评价与应用
6.2 神经网络语言模型
6.2.1 神经网络语言模型概述
6.2.2 前馈神经网络语言模型
6.2.3 循环神经网络语言模型
6.3 预训练语言模型
6.3.1 动态词向量算法ELMo
6.3.2 自回归预训练语言模型GPT
6.3.3 掩码预训练语言模型BERT
6.3.4 序列到序列预训练语言模型BART
6.3.5 预训练语言模型的应用
本章小结
习题6
本章参考文献
第7章 大语言模型预训练
7.1 大语言模型的整体框架
7.2 预训练模型架构
7.2.1 基于Transformer的模型架构
7.2.2 模型的核心组成部分
7.3 分布式训练技术
7.3.1 分布式训练的基础优化技术
7.3.2 分布式训练中的并行策略
7.3.3 训练过程中的参数设置
7.4 预训练数据
7.4.1 预训练数据常见的数据来源
7.4.2 数据配比方法
本章小结
习题7
本章参考文献
第8章 大语言模型的有监督微调
8.1 提示学习与上下文学习
8.1.1 提示学习
8.1.2 上下文学习
8.2 有监督微调的基本原理
8.2.1 训练目标
8.2.2 指令-响应数据的形式与作用
8.2.3 迁移学习视角：从预训练到特定任务
8.3 指令数据构建
8.3.1 手动构建指令
8.3.2 自动生成指令
8.3.3 开源指令数据集
8.4 微调策略
8.4.1 全量微调
8.4.2 参数高效微调
8.4.3 LoRA方法的变体
8.4.4 特定功能的有监督微调
本章小结
习题8
本章参考文献
第9章 大语言模型的强化学习
9.1 人类反馈的强化学习
9.1.1 策略梯度
9.1.2 RLHF流程
9.1.3 广义优势估计
9.1.4 近端策略优化算法
9.1.5 近端策略优化算法的变体
9.1.6 直接偏好优化
9.1.7 自奖励机制
9.1.8 基于对比奖励提升RLHF
9.1.9 自我博弈偏好优化
9.2 奖励模型
9.2.1 数据收集
9.2.2 模型训练
9.2.3 开源数据
9.2.4 生成式奖励模型
本章小结
习题9
本章参考文献
第10章 大语言模型知识增强与
模型评价
10.1 知识与知识图谱
10.1.1 知识的概念与表示
10.1.2 知识图谱的构建
10.2 知识抽取
10.2.1 非结构化数据知识抽取
10.2.2 结构化数据知识抽取
10.2.3 半结构化数据知识抽取
10.3 知识增强的大语言模型
10.3.1 知识增强的模型预训练
10.3.2 知识增强的模型推理
10.3.3 知识增强大语言模型的典型应用
10.4 大语言模型的评价体系
10.4.1 基础能力评价
10.4.2 应用能力评价
10.4.3 安全可靠性评价
10.5 大语言模型的评价实践
10.5.1 MMLU
10.5.2 AlpacaEval
10.5.3 Chatbot Arena
本章小结
习题10
本章参考文献
第11章 大语言模型的推理部署
11.1 大语言模型的算力基础
11.1.1 国内外主流芯片
11.1.2 算力特性
11.2 大语言模型的推理部署框架
11.2.1 主流推理部署框架介绍
11.2.2 推理部署框架性能对比
11.3 大语言模型的压缩技术
11.3.1 模型量化
11.3.2 模型蒸馏
本章小结
习题11
本章参考文献
第12章 大语言模型应用场景适配
12.1 提示工程
12.1.1 提示与提示工程
12.1.2 提示构建策略
12.1.3 提示自动优化技术
12.1.4 高级提示构建技术
12.2 检索增强
12.2.1 检索增强概述
12.2.2 RAG系统架构
12.2.3 RAG核心技术
12.2.4 进阶RAG技术
12.3 基于大语言模型的智能体
12.3.1 智能体概述
12.3.2 大语言模型智能体的架构
12.3.3 短期记忆与长期记忆
12.3.4 大语言模型智能体的工作流程
12.3.5 智能体的规划方法
12.3.6 智能体的学习策略
12.3.7 大语言模型多智能体
本章小结
习题12
本章参考文献
第13章 文本分类与情感分析
13.1 文本分类与聚类
13.1.1 统计文本分类
13.1.2 深度神经网络文本分类
13.1.3 文本聚类
13.2 情感分析
13.2.1 词级情感分析
13.2.2 句子级与文档级情感分析
13.2.3 属性级情感分析
本章小结
习题13
本章参考文献
第14章 机器翻译
14.1 概述
14.1.1 基本概念与发展历程
14.1.2 当前研究热点
14.2 基于循环神经网络的神经机器翻译
14.2.1 编码器-解码器架构
14.2.2 翻译建模
14.2.3 RNN翻译系统
14.3 基于自注意力机制的神经机器翻译
14.3.1 自注意力机制与Transformer架构
14.3.2 模型的训练与解码
14.3.3 改进方法与模型优化
14.4 大语言模型时代的机器翻译
14.4.1 大语言模型内化的翻译能力
14.4.2 基于大语言模型的机器翻译
14.4.3 大语言模型在机器翻译中的其他应用
本章小结
习题14
本章参考文献
第15章 人机交互
15.1 图灵测试与人机交互
15.1.1 图灵测试
15.1.2 人机交互
15.2 问答系统
15.2.1 典型的问答系统
15.2.2 问答系统的实现方法
15.2.3 问答系统的评价指标
15.3 阅读理解
15.3.1 阅读理解的分类
15.3.2 阅读理解的实现方法
15.3.3 阅读理解的主要数据集
15.3.4 阅读理解的评价方法
15.4 对话系统
15.4.1 典型对话系统
15.4.2 对话系统的分类
15.4.3 对话系统的实现方法
15.4.4 对话系统的评价方法
15.5 基于大语言模型的人机交互
15.5.1 指令遵循
15.5.2 角色扮演
本章小结
习题15
本章参考文献
附录 实验
实验一 使用Transformer完成神经机器翻译
实验二 利用对话数据微调基础大模型
前辅文
第1章 绪论
1.1 自然语言处理概述
1.1.1 基本概念
1.1.2 自然语言处理面临的挑战
1.2 自然语言处理的研究内容
1.2.1 数据集
1.2.2 典型任务
1.2.3 典型应用研究
1.2.4 语音识别
1.3 发展历史
1.3.1 规则方法
1.3.2 统计方法
1.3.3 深度学习方法
1.3.4 大模型时代
1.4 自然语言处理展望
本章小结
习题1
本章参考文献
第2章 自然语言处理基础理论
2.1 信息论
2.1.1 熵
2.1.2 联合熵
2.1.3 条件熵
2.1.4 交叉熵
2.1.5 相对熵
2.1.6 困惑度
2.2 机器学习概述
2.2.1 有监督学习
2.2.2 无监督学习
2.2.3 自监督学习
2.2.4 强化学习
本章小结
习题2
本章参考文献
第3章 自然语言的统计建模及经典技术
3.1 统计语言模型
3.1.1 模型定义
3.1.2 数据平滑方法
3.2 自然语言处理的经典技术
3.2.1 词法分析
3.2.2 句法分析
3.2.3 语义角色标注
3.3 自然语言处理的典型应用
3.3.1 文本分类
3.3.2 信息抽取
3.3.3 机器翻译
本章小结
习题3
本章参考文献
第4章 自然语言处理中的深度学习基础
4.1 神经网络基础
4.1.1 人工神经网络的生物学基础
4.1.2 常见激活函数
4.2 前馈神经网络
4.2.1 前向传播
4.2.2 损失函数
4.2.3 反向传播
4.3 卷积神经网络
4.3.1 卷积
4.3.2 池化
4.3.3 经典的卷积神经网络
4.4 循环神经网络
4.4.1 循环神经网络
4.4.2 长短时记忆网络
4.4.3 门控循环单元
4.5 Transformer
4.5.1 注意力的基本概念
4.5.2 自注意力模型
4.5.3 多头自注意力机制
4.5.4 Transformer的网络结构
本章小结
习题4
本章参考文献
第5章 自然语言处理技术评价
5.1 自然语言处理评价概述
5.1.1 评价的核心问题
5.1.2 评价的重要意义
5.2 自然语言理解评价
5.2.1 分类问题的评价指标
5.2.2 回归问题的评价指标
5.3 自然语言生成评价
5.3.1 基于统计指标的评价方法
5.3.2 基于预训练模型的评价方法
5.3.3 基于大模型的评价方法
本章小结
习题5
本章参考文献
第6章 词向量及神经语言模型
6.1 文本的向量表示
6.1.1 单词的分布式表示基本概念
6.1.2 基于共现矩阵奇异值分解的词向量模型
6.1.3 基于上下文单词预测的词向量模型
6.1.4 全局向量模型
6.1.5 基于字节对编码的子词表示模型
6.1.6 单词的分布式表示的评价与应用
6.2 神经网络语言模型
6.2.1 神经网络语言模型概述
6.2.2 前馈神经网络语言模型
6.2.3 循环神经网络语言模型
6.3 预训练语言模型
6.3.1 动态词向量算法ELMo
6.3.2 自回归预训练语言模型GPT
6.3.3 掩码预训练语言模型BERT
6.3.4 序列到序列预训练语言模型BART
6.3.5 预训练语言模型的应用
本章小结
习题6
本章参考文献
第7章 大语言模型预训练
7.1 大语言模型的整体框架
7.2 预训练模型架构
7.2.1 基于Transformer的模型架构
7.2.2 模型的核心组成部分
7.3 分布式训练技术
7.3.1 分布式训练的基础优化技术
7.3.2 分布式训练中的并行策略
7.3.3 训练过程中的参数设置
7.4 预训练数据
7.4.1 预训练数据常见的数据来源
7.4.2 数据配比方法
本章小结
习题7
本章参考文献
第8章 大语言模型的有监督微调
8.1 提示学习与上下文学习
8.1.1 提示学习
8.1.2 上下文学习
8.2 有监督微调的基本原理
8.2.1 训练目标
8.2.2 指令-响应数据的形式与作用
8.2.3 迁移学习视角：从预训练到特定任务
8.3 指令数据构建
8.3.1 手动构建指令
8.3.2 自动生成指令
8.3.3 开源指令数据集
8.4 微调策略
8.4.1 全量微调
8.4.2 参数高效微调
8.4.3 LoRA方法的变体
8.4.4 特定功能的有监督微调
本章小结
习题8
本章参考文献
第9章 大语言模型的强化学习
9.1 人类反馈的强化学习
9.1.1 策略梯度
9.1.2 RLHF流程
9.1.3 广义优势估计
9.1.4 近端策略优化算法
9.1.5 近端策略优化算法的变体
9.1.6 直接偏好优化
9.1.7 自奖励机制
9.1.8 基于对比奖励提升RLHF
9.1.9 自我博弈偏好优化
9.2 奖励模型
9.2.1 数据收集
9.2.2 模型训练
9.2.3 开源数据
9.2.4 生成式奖励模型
本章小结
习题9
本章参考文献
第10章 大语言模型知识增强与
模型评价
10.1 知识与知识图谱
10.1.1 知识的概念与表示
10.1.2 知识图谱的构建
10.2 知识抽取
10.2.1 非结构化数据知识抽取
10.2.2 结构化数据知识抽取
10.2.3 半结构化数据知识抽取
10.3 知识增强的大语言模型
10.3.1 知识增强的模型预训练
10.3.2 知识增强的模型推理
10.3.3 知识增强大语言模型的典型应用
10.4 大语言模型的评价体系
10.4.1 基础能力评价
10.4.2 应用能力评价
10.4.3 安全可靠性评价
10.5 大语言模型的评价实践
10.5.1 MMLU
10.5.2 AlpacaEval
10.5.3 Chatbot Arena
本章小结
习题10
本章参考文献
第11章 大语言模型的推理部署
11.1 大语言模型的算力基础
11.1.1 国内外主流芯片
11.1.2 算力特性
11.2 大语言模型的推理部署框架
11.2.1 主流推理部署框架介绍
11.2.2 推理部署框架性能对比
11.3 大语言模型的压缩技术
11.3.1 模型量化
11.3.2 模型蒸馏
本章小结
习题11
本章参考文献
第12章 大语言模型应用场景适配
12.1 提示工程
12.1.1 提示与提示工程
12.1.2 提示构建策略
12.1.3 提示自动优化技术
12.1.4 高级提示构建技术
12.2 检索增强
12.2.1 检索增强概述
12.2.2 RAG系统架构
12.2.3 RAG核心技术
12.2.4 进阶RAG技术
12.3 基于大语言模型的智能体
12.3.1 智能体概述
12.3.2 大语言模型智能体的架构
12.3.3 短期记忆与长期记忆
12.3.4 大语言模型智能体的工作流程
12.3.5 智能体的规划方法
12.3.6 智能体的学习策略
12.3.7 大语言模型多智能体
本章小结
习题12
本章参考文献
第13章 文本分类与情感分析
13.1 文本分类与聚类
13.1.1 统计文本分类
13.1.2 深度神经网络文本分类
13.1.3 文本聚类
13.2 情感分析
13.2.1 词级情感分析
13.2.2 句子级与文档级情感分析
13.2.3 属性级情感分析
本章小结
习题13
本章参考文献
第14章 机器翻译
14.1 概述
14.1.1 基本概念与发展历程
14.1.2 当前研究热点
14.2 基于循环神经网络的神经机器翻译
14.2.1 编码器-解码器架构
14.2.2 翻译建模
14.2.3 RNN翻译系统
14.3 基于自注意力机制的神经机器翻译
14.3.1 自注意力机制与Transformer架构
14.3.2 模型的训练与解码
14.3.3 改进方法与模型优化
14.4 大语言模型时代的机器翻译
14.4.1 大语言模型内化的翻译能力
14.4.2 基于大语言模型的机器翻译
14.4.3 大语言模型在机器翻译中的其他应用
本章小结
习题14
本章参考文献
第15章 人机交互
15.1 图灵测试与人机交互
15.1.1 图灵测试
15.1.2 人机交互
15.2 问答系统
15.2.1 典型的问答系统
15.2.2 问答系统的实现方法
15.2.3 问答系统的评价指标
15.3 阅读理解
15.3.1 阅读理解的分类
15.3.2 阅读理解的实现方法
15.3.3 阅读理解的主要数据集
15.3.4 阅读理解的评价方法
15.4 对话系统
15.4.1 典型对话系统
15.4.2 对话系统的分类
15.4.3 对话系统的实现方法
15.4.4 对话系统的评价方法
15.5 基于大语言模型的人机交互
15.5.1 指令遵循
15.5.2 角色扮演
本章小结
习题15
本章参考文献
附录 实验
实验一 使用Transformer完成神经机器翻译
实验二 利用对话数据微调基础大模型
前辅文
第1章 绪论
1.1 自然语言处理概述
1.1.1 基本概念
1.1.2 自然语言处理面临的挑战
1.2 自然语言处理的研究内容
1.2.1 数据集
1.2.2 典型任务
1.2.3 典型应用研究
1.2.4 语音识别
1.3 发展历史
1.3.1 规则方法
1.3.2 统计方法
1.3.3 深度学习方法
1.3.4 大模型时代
1.4 自然语言处理展望
本章小结
习题1
本章参考文献
第2章 自然语言处理基础理论
2.1 信息论
2.1.1 熵
2.1.2 联合熵
2.1.3 条件熵
2.1.4 交叉熵
2.1.5 相对熵
2.1.6 困惑度
2.2 机器学习概述
2.2.1 有监督学习
2.2.2 无监督学习
2.2.3 自监督学习
2.2.4 强化学习
本章小结
习题2
本章参考文献
第3章 自然语言的统计建模及经典技术
3.1 统计语言模型
3.1.1 模型定义
3.1.2 数据平滑方法
3.2 自然语言处理的经典技术
3.2.1 词法分析
3.2.2 句法分析
3.2.3 语义角色标注
3.3 自然语言处理的典型应用
3.3.1 文本分类
3.3.2 信息抽取
3.3.3 机器翻译
本章小结
习题3
本章参考文献
第4章 自然语言处理中的深度学习基础
4.1 神经网络基础
4.1.1 人工神经网络的生物学基础
4.1.2 常见激活函数
4.2 前馈神经网络
4.2.1 前向传播
4.2.2 损失函数
4.2.3 反向传播
4.3 卷积神经网络
4.3.1 卷积
4.3.2 池化
4.3.3 经典的卷积神经网络
4.4 循环神经网络
4.4.1 循环神经网络
4.4.2 长短时记忆网络
4.4.3 门控循环单元
4.5 Transformer
4.5.1 注意力的基本概念
4.5.2 自注意力模型
4.5.3 多头自注意力机制
4.5.4 Transformer的网络结构
本章小结
习题4
本章参考文献
第5章 自然语言处理技术评价
5.1 自然语言处理评价概述
5.1.1 评价的核心问题
5.1.2 评价的重要意义
5.2 自然语言理解评价
5.2.1 分类问题的评价指标
5.2.2 回归问题的评价指标
5.3 自然语言生成评价
5.3.1 基于统计指标的评价方法
5.3.2 基于预训练模型的评价方法
5.3.3 基于大模型的评价方法
本章小结
习题5
本章参考文献
第6章 词向量及神经语言模型
6.1 文本的向量表示
6.1.1 单词的分布式表示基本概念
6.1.2 基于共现矩阵奇异值分解的词向量模型
6.1.3 基于上下文单词预测的词向量模型
6.1.4 全局向量模型
6.1.5 基于字节对编码的子词表示模型
6.1.6 单词的分布式表示的评价与应用
6.2 神经网络语言模型
6.2.1 神经网络语言模型概述
6.2.2 前馈神经网络语言模型
6.2.3 循环神经网络语言模型
6.3 预训练语言模型
6.3.1 动态词向量算法ELMo
6.3.2 自回归预训练语言模型GPT
6.3.3 掩码预训练语言模型BERT
6.3.4 序列到序列预训练语言模型BART
6.3.5 预训练语言模型的应用
本章小结
习题6
本章参考文献
第7章 大语言模型预训练
7.1 大语言模型的整体框架
7.2 预训练模型架构
7.2.1 基于Transformer的模型架构
7.2.2 模型的核心组成部分
7.3 分布式训练技术
7.3.1 分布式训练的基础优化技术
7.3.2 分布式训练中的并行策略
7.3.3 训练过程中的参数设置
7.4 预训练数据
7.4.1 预训练数据常见的数据来源
7.4.2 数据配比方法
本章小结
习题7
本章参考文献
第8章 大语言模型的有监督微调
8.1 提示学习与上下文学习
8.1.1 提示学习
8.1.2 上下文学习
8.2 有监督微调的基本原理
8.2.1 训练目标
8.2.2 指令-响应数据的形式与作用
8.2.3 迁移学习视角：从预训练到特定任务
8.3 指令数据构建
8.3.1 手动构建指令
8.3.2 自动生成指令
8.3.3 开源指令数据集
8.4 微调策略
8.4.1 全量微调
8.4.2 参数高效微调
8.4.3 LoRA方法的变体
8.4.4 特定功能的有监督微调
本章小结
习题8
本章参考文献
第9章 大语言模型的强化学习
9.1 人类反馈的强化学习
9.1.1 策略梯度
9.1.2 RLHF流程
9.1.3 广义优势估计
9.1.4 近端策略优化算法
9.1.5 近端策略优化算法的变体
9.1.6 直接偏好优化
9.1.7 自奖励机制
9.1.8 基于对比奖励提升RLHF
9.1.9 自我博弈偏好优化
9.2 奖励模型
9.2.1 数据收集
9.2.2 模型训练
9.2.3 开源数据
9.2.4 生成式奖励模型
本章小结
习题9
本章参考文献
第10章 大语言模型知识增强与
模型评价
10.1 知识与知识图谱
10.1.1 知识的概念与表示
10.1.2 知识图谱的构建
10.2 知识抽取
10.2.1 非结构化数据知识抽取
10.2.2 结构化数据知识抽取
10.2.3 半结构化数据知识抽取
10.3 知识增强的大语言模型
10.3.1 知识增强的模型预训练
10.3.2 知识增强的模型推理
10.3.3 知识增强大语言模型的典型应用
10.4 大语言模型的评价体系
10.4.1 基础能力评价
10.4.2 应用能力评价
10.4.3 安全可靠性评价
10.5 大语言模型的评价实践
10.5.1 MMLU
10.5.2 AlpacaEval
10.5.3 Chatbot Arena
本章小结
习题10
本章参考文献
第11章 大语言模型的推理部署
11.1 大语言模型的算力基础
11.1.1 国内外主流芯片
11.1.2 算力特性
11.2 大语言模型的推理部署框架
11.2.1 主流推理部署框架介绍
11.2.2 推理部署框架性能对比
11.3 大语言模型的压缩技术
11.3.1 模型量化
11.3.2 模型蒸馏
本章小结
习题11
本章参考文献
第12章 大语言模型应用场景适配
12.1 提示工程
12.1.1 提示与提示工程
12.1.2 提示构建策略
12.1.3 提示自动优化技术
12.1.4 高级提示构建技术
12.2 检索增强
12.2.1 检索增强概述
12.2.2 RAG系统架构
12.2.3 RAG核心技术
12.2.4 进阶RAG技术
12.3 基于大语言模型的智能体
12.3.1 智能体概述
12.3.2 大语言模型智能体的架构
12.3.3 短期记忆与长期记忆
12.3.4 大语言模型智能体的工作流程
12.3.5 智能体的规划方法
12.3.6 智能体的学习策略
12.3.7 大语言模型多智能体
本章小结
习题12
本章参考文献
第13章 文本分类与情感分析
13.1 文本分类与聚类
13.1.1 统计文本分类
13.1.2 深度神经网络文本分类
13.1.3 文本聚类
13.2 情感分析
13.2.1 词级情感分析
13.2.2 句子级与文档级情感分析
13.2.3 属性级情感分析
本章小结
习题13
本章参考文献
第14章 机器翻译
14.1 概述
14.1.1 基本概念与发展历程
14.1.2 当前研究热点
14.2 基于循环神经网络的神经机器翻译
14.2.1 编码器-解码器架构
14.2.2 翻译建模
14.2.3 RNN翻译系统
14.3 基于自注意力机制的神经机器翻译
14.3.1 自注意力机制与Transformer架构
14.3.2 模型的训练与解码
14.3.3 改进方法与模型优化
14.4 大语言模型时代的机器翻译
14.4.1 大语言模型内化的翻译能力
14.4.2 基于大语言模型的机器翻译
14.4.3 大语言模型在机器翻译中的其他应用
本章小结
习题14
本章参考文献
第15章 人机交互
15.1 图灵测试与人机交互
15.1.1 图灵测试
15.1.2 人机交互
15.2 问答系统
15.2.1 典型的问答系统
15.2.2 问答系统的实现方法
15.2.3 问答系统的评价指标
15.3 阅读理解
15.3.1 阅读理解的分类
15.3.2 阅读理解的实现方法
15.3.3 阅读理解的主要数据集
15.3.4 阅读理解的评价方法
15.4 对话系统
15.4.1 典型对话系统
15.4.2 对话系统的分类
15.4.3 对话系统的实现方法
15.4.4 对话系统的评价方法
15.5 基于大语言模型的人机交互
15.5.1 指令遵循
15.5.2 角色扮演
本章小结
习题15
本章参考文献
附录 实验
实验一 使用Transformer完成神经机器翻译
实验二 利用对话数据微调基础大模型
前辅文
第1章 绪论
1.1 自然语言处理概述
1.1.1 基本概念
1.1.2 自然语言处理面临的挑战
1.2 自然语言处理的研究内容
1.2.1 数据集
1.2.2 典型任务
1.2.3 典型应用研究
1.2.4 语音识别
1.3 发展历史
1.3.1 规则方法
1.3.2 统计方法
1.3.3 深度学习方法
1.3.4 大模型时代
1.4 自然语言处理展望
本章小结
习题1
本章参考文献
第2章 自然语言处理基础理论
2.1 信息论
2.1.1 熵
2.1.2 联合熵
2.1.3 条件熵
2.1.4 交叉熵
2.1.5 相对熵
2.1.6 困惑度
2.2 机器学习概述
2.2.1 有监督学习
2.2.2 无监督学习
2.2.3 自监督学习
2.2.4 强化学习
本章小结
习题2
本章参考文献
第3章 自然语言的统计建模及经典技术
3.1 统计语言模型
3.1.1 模型定义
3.1.2 数据平滑方法
3.2 自然语言处理的经典技术
3.2.1 词法分析
3.2.2 句法分析
3.2.3 语义角色标注
3.3 自然语言处理的典型应用
3.3.1 文本分类
3.3.2 信息抽取
3.3.3 机器翻译
本章小结
习题3
本章参考文献
第4章 自然语言处理中的深度学习基础
4.1 神经网络基础
4.1.1 人工神经网络的生物学基础
4.1.2 常见激活函数
4.2 前馈神经网络
4.2.1 前向传播
4.2.2 损失函数
4.2.3 反向传播
4.3 卷积神经网络
4.3.1 卷积
4.3.2 池化
4.3.3 经典的卷积神经网络
4.4 循环神经网络
4.4.1 循环神经网络
4.4.2 长短时记忆网络
4.4.3 门控循环单元
4.5 Transformer
4.5.1 注意力的基本概念
4.5.2 自注意力模型
4.5.3 多头自注意力机制
4.5.4 Transformer的网络结构
本章小结
习题4
本章参考文献
第5章 自然语言处理技术评价
5.1 自然语言处理评价概述
5.1.1 评价的核心问题
5.1.2 评价的重要意义
5.2 自然语言理解评价
5.2.1 分类问题的评价指标
5.2.2 回归问题的评价指标
5.3 自然语言生成评价
5.3.1 基于统计指标的评价方法
5.3.2 基于预训练模型的评价方法
5.3.3 基于大模型的评价方法
本章小结
习题5
本章参考文献
第6章 词向量及神经语言模型
6.1 文本的向量表示
6.1.1 单词的分布式表示基本概念
6.1.2 基于共现矩阵奇异值分解的词向量模型
6.1.3 基于上下文单词预测的词向量模型
6.1.4 全局向量模型
6.1.5 基于字节对编码的子词表示模型
6.1.6 单词的分布式表示的评价与应用
6.2 神经网络语言模型
6.2.1 神经网络语言模型概述
6.2.2 前馈神经网络语言模型
6.2.3 循环神经网络语言模型
6.3 预训练语言模型
6.3.1 动态词向量算法ELMo
6.3.2 自回归预训练语言模型GPT
6.3.3 掩码预训练语言模型BERT
6.3.4 序列到序列预训练语言模型BART
6.3.5 预训练语言模型的应用
本章小结
习题6
本章参考文献
第7章 大语言模型预训练
7.1 大语言模型的整体框架
7.2 预训练模型架构
7.2.1 基于Transformer的模型架构
7.2.2 模型的核心组成部分
7.3 分布式训练技术
7.3.1 分布式训练的基础优化技术
7.3.2 分布式训练中的并行策略
7.3.3 训练过程中的参数设置
7.4 预训练数据
7.4.1 预训练数据常见的数据来源
7.4.2 数据配比方法
本章小结
习题7
本章参考文献
第8章 大语言模型的有监督微调
8.1 提示学习与上下文学习
8.1.1 提示学习
8.1.2 上下文学习
8.2 有监督微调的基本原理
8.2.1 训练目标
8.2.2 指令-响应数据的形式与作用
8.2.3 迁移学习视角：从预训练到特定任务
8.3 指令数据构建
8.3.1 手动构建指令
8.3.2 自动生成指令
8.3.3 开源指令数据集
8.4 微调策略
8.4.1 全量微调
8.4.2 参数高效微调
8.4.3 LoRA方法的变体
8.4.4 特定功能的有监督微调
本章小结
习题8
本章参考文献
第9章 大语言模型的强化学习
9.1 人类反馈的强化学习
9.1.1 策略梯度
9.1.2 RLHF流程
9.1.3 广义优势估计
9.1.4 近端策略优化算法
9.1.5 近端策略优化算法的变体
9.1.6 直接偏好优化
9.1.7 自奖励机制
9.1.8 基于对比奖励提升RLHF
9.1.9 自我博弈偏好优化
9.2 奖励模型
9.2.1 数据收集
9.2.2 模型训练
9.2.3 开源数据
9.2.4 生成式奖励模型
本章小结
习题9
本章参考文献
第10章 大语言模型知识增强与
模型评价
10.1 知识与知识图谱
10.1.1 知识的概念与表示
10.1.2 知识图谱的构建
10.2 知识抽取
10.2.1 非结构化数据知识抽取
10.2.2 结构化数据知识抽取
10.2.3 半结构化数据知识抽取
10.3 知识增强的大语言模型
10.3.1 知识增强的模型预训练
10.3.2 知识增强的模型推理
10.3.3 知识增强大语言模型的典型应用
10.4 大语言模型的评价体系
10.4.1 基础能力评价
10.4.2 应用能力评价
10.4.3 安全可靠性评价
10.5 大语言模型的评价实践
10.5.1 MMLU
10.5.2 AlpacaEval
10.5.3 Chatbot Arena
本章小结
习题10
本章参考文献
第11章 大语言模型的推理部署
11.1 大语言模型的算力基础
11.1.1 国内外主流芯片
11.1.2 算力特性
11.2 大语言模型的推理部署框架
11.2.1 主流推理部署框架介绍
11.2.2 推理部署框架性能对比
11.3 大语言模型的压缩技术
11.3.1 模型量化
11.3.2 模型蒸馏
本章小结
习题11
本章参考文献
第12章 大语言模型应用场景适配
12.1 提示工程
12.1.1 提示与提示工程
12.1.2 提示构建策略
12.1.3 提示自动优化技术
12.1.4 高级提示构建技术
12.2 检索增强
12.2.1 检索增强概述
12.2.2 RAG系统架构
12.2.3 RAG核心技术
12.2.4 进阶RAG技术
12.3 基于大语言模型的智能体
12.3.1 智能体概述
12.3.2 大语言模型智能体的架构
12.3.3 短期记忆与长期记忆
12.3.4 大语言模型智能体的工作流程
12.3.5 智能体的规划方法
12.3.6 智能体的学习策略
12.3.7 大语言模型多智能体
本章小结
习题12
本章参考文献
第13章 文本分类与情感分析
13.1 文本分类与聚类
13.1.1 统计文本分类
13.1.2 深度神经网络文本分类
13.1.3 文本聚类
13.2 情感分析
13.2.1 词级情感分析
13.2.2 句子级与文档级情感分析
13.2.3 属性级情感分析
本章小结
习题13
本章参考文献
第14章 机器翻译
14.1 概述
14.1.1 基本概念与发展历程
14.1.2 当前研究热点
14.2 基于循环神经网络的神经机器翻译
14.2.1 编码器-解码器架构
14.2.2 翻译建模
14.2.3 RNN翻译系统
14.3 基于自注意力机制的神经机器翻译
14.3.1 自注意力机制与Transformer架构
14.3.2 模型的训练与解码
14.3.3 改进方法与模型优化
14.4 大语言模型时代的机器翻译
14.4.1 大语言模型内化的翻译能力
14.4.2 基于大语言模型的机器翻译
14.4.3 大语言模型在机器翻译中的其他应用
本章小结
习题14
本章参考文献
第15章 人机交互
15.1 图灵测试与人机交互
15.1.1 图灵测试
15.1.2 人机交互
15.2 问答系统
15.2.1 典型的问答系统
15.2.2 问答系统的实现方法
15.2.3 问答系统的评价指标
15.3 阅读理解
15.3.1 阅读理解的分类
15.3.2 阅读理解的实现方法
15.3.3 阅读理解的主要数据集
15.3.4 阅读理解的评价方法
15.4 对话系统
15.4.1 典型对话系统
15.4.2 对话系统的分类
15.4.3 对话系统的实现方法
15.4.4 对话系统的评价方法
15.5 基于大语言模型的人机交互
15.5.1 指令遵循
15.5.2 角色扮演
本章小结
习题15
本章参考文献
附录 实验
实验一 使用Transformer完成神经机器翻译
实验二 利用对话数据微调基础大模型
