大数据智能-大语言模型 / 战略性新兴领域（大数据）“十四五”规划教材
定价：￥48.00
作者： 赵鑫，李军毅，周昆，唐天一等
出版社：高等教育出版社
- 高等教育出版社
- 9787040644357
- 1版
- 47261516-0
- 16开
- 480
- 工学
- 计算机类
- 计算机类
- 本科 研究生及以上
内容简介
本书是大数据新兴领域“十四五”高等教育教材。本书展现了大语言模型技术的整体框架和路线图，内容讲解力求简明、准确、实用，旨在为相关行业提供大模型技术的中文参考资料，推动我国相关人工智能技术的发展。全书共13章，内容涉及大模型的背景与基础知识、预训练、微调与对齐、模型使用、评测与资源等，同时提供了相关代码示例与实验工具包。
本书可供具有深度学习基础的读者阅读与使用，既可作为高等学校人工智能、大数据、计算机类专业教材，也可作为相关从业与研究人员的参考用书。
目录
目录
前辅文
第一部分 背景与基础知识
第1章 引言
1.1 语言模型的发展历程
1.2 大语言模型的能力特点
1.3 大语言模型关键技术概览
1.4 大语言模型对科技发展的影响
1.5 本书的内容组织
1.6 本书配套资源说明
第2章 基础介绍
2.1 大语言模型的构建过程
2.1.1 大规模预训练
2.1.2 指令微调与人类对齐
2.2 扩展定律
2.2.1 KM扩展定律
2.2.2 Chinchilla扩展定律
2.2.3 关于扩展定律的讨论
2.3 涌现能力
2.3.1 代表性的涌现能力
2.3.2 涌现能力与扩展定律的关系
2.4 GPT系列模型的技术演变
2.4.1 早期探索
2.4.2 规模扩展
2.4.3 能力增强
2.4.4 性能跃升
习题
第二部分 预训练
第3章 数据准备
3.1 数据来源
3.1.1 通用文本数据
3.1.2 专用文本数据
3.2 数据预处理
3.2.1 质量过滤
3.2.2 敏感内容过滤
3.2.3 数据去重
3.2.4 数据对预训练效果的影响
3.2.5 数据预处理实践
3.3 词元化（分词）
3.3.1 BPE分词
3.3.2 WordPiece分词
3.3.3 Unigram分词
3.3.4 分词器的选用
3.4 数据调度
3.4.1 数据混合
3.4.2 数据课程
3.4.3 预训练数据准备概述——以YuLan模型为例
习题
第4章 模型架构
4.1 Transformer模型
4.1.1 输入编码层
4.1.2 名头注意力层
4.1.3 前馈网络层
4.1.4 编码器
4.1.5 解码器
4.2 详细配置
4.2.1 归一化方法
4.2.2 归一化模块位置
4.2.3 激活函数
4.2.4 位置编码
4.2.5 注意力机制
4.2.6 混合专家模型
4.2.7 LLaMA的详细配置
4.3 主流架构
4.3.1 编码器-解码器架构
4.3.2 因果解码器架构
4.3.3 前缀解码器架构
4.4 长上下文模型
4.4.1 位置编码扩展
4.4.2 上下文窗口调整
4.4.3 长文本数据
4.5 新型模型架构
4.5.1 参数化状态空间模型
4.5.2 状态空间模型变种
习题
第5章 模型预训练
5.1 预训练任务
5.1.1 语言建模
5.1.2 去噪自编码
5.1.3 混合去噪器
5.2 优化参数设置
5.2.1 基于批次数据的训练
5.2.2 学习率
5.2.3 优化器
5.2.4 稳定优化技术
5.3 可扩展的训练技术
5.3.1 3D并行训练
5.3.2 零冗余优化器
5.3.3 激活重计算
5.3.4 混合精度训练
5.4 模型参数量计算与效率分析
5.4.1 参数量计算
5.4.2 训练运算量估计
5.4.3 训练时间估计
5.4.4 训练显存估计
5.5 预训练代码实践
习题
第三部分 微调与对齐
第6章 指令微调
6.1 指令数据的构建
6.1.1 基于现有的NLP任务数据集构建
6.1.2 基于日常对话数据构建
6.1.3 基于合成数据构建
6.1.4 指令数据构建的提升方法
6.1.5 指令微调的作用
6.2 指令微调的训练策略
6.2.1 优化设置
6.2.2 数据组织策略
6.3 参数高效的模型微调
6.3.1 低秩适配微调方法
6.3.2 其他高效微调方法
6.4 代码实践与分析
6.4.1 指令微调的代码实践
6.4.2 指令微调的实验性分析
6.4.3 LoRA代码实践与分析
习题
第7章 人类对齐
7.1 人类对齐的背景与标准
7.1.1 背景
7.1.2 对齐标准
7.2 基于人类反馈的强化学习
7.2.1 RLHF概述
7.2.2 人类反馈数据的收集
7.2.3 奖励模型的训练
7.2.4 强化学习训练
7.2.5 代表性RLHF工作介绍
7.2.6 进阶RLHF方法介绍
7.3 非强化学习的对齐方法
7.3.1 代表性监督对齐算法DPO
7.3.2 其他有监督对齐算法
7.4 关于SFT和RLHF的进一步讨论
7.4.1 基于学习方式的总体比较
7.4.2 SFT的优缺点
7.4.3 RLHF的优缺点
7.5 幻象
7.5.1 幻象的定义与分类
7.5.2 幻象的生成原因
7.5.3 幻象的检测方法
7.5.4 幻象的消除方法
习题
第四部分 模型使用
第8章 解码与部署
8.1 解码策略
8.1.1 背景
8.1.2 贪心搜索的改进
8.1.3 随机采样的改进策略
8.1.4 实际使用设置
8.2 解码加速算法
8.2.1 解码效率分析
8.2.2 系统级优化
8.2.3 解码策略优化
8.2.4 解码方法实践
8.3 低资源部署策略
8.3.1 量化基础知识
8.3.2 训练后量化方法
8.3.3 经验性分析与相关结论
8.4 其他模型压缩方法
8.4.1 模型蒸馏
8.4.2 模型剪枝
习题
第9章 提示学习
9.1 基础提示
9.1.1 人工提示设计
9.1.2 自动提示优化
9.2 上下文学习
9.2.1 上下文学习的形式化定义
9.2.2 示例设计
9.2.3 底层机制
9.3 思维链提示
9.3.1 思维链提示的基本形式
9.3.2 思维链提示的优化策略
9.3.3 关于思维链的进一步讨论
9.4 检索增强生成
9.4.1 检索增强生成的基本流程
9.4.2 检索增强生成的优化策略
习题
第10章 规划与智能体
10.1 基于大语言模型的规划
10.1.1 整体框架
10.1.2 方案生成
10.1.3 反馈获取
10.2 基于大语言模型的智能体
10.2.1 智能体概述
10.2.2 大语言模型智能体的构建
10.2.3 多智能体系统的构建
10.2.4 大语言模型智能体的典型应用
10.2.5待解决的关键技术问题
习题
第五部分 评测与资源
第11章 模型评测
11.1 评测指标与评测方法
11.1.1 常见评测指标
11.1.2 评测范式与方法
11.2 基础能力评测
11.2.1 语言生成
11.2.2 知识利用
11.2.3 复杂推理
11.3 高级能力评测
11.3.1 人类对齐
11.3.2 环境交互
11.3.3 工具使用
11.4 公开综合评测体系
11.4.1 MMLU
11.4.2 BIG-Bench
11.4.3 HELM
11.4.4 C-Eval
11.4.5 其他评测数据集与资源
11.4.6 公开评测资源选择参考
11.4.7 评测代码实践
习题
第12章 模型资源
12.1 公开可用的模型检查点
12.1.1 公开可用的通用大语言模型检查点
12.1.2 LLaMA本休系列
12.2 常用的预训练数据集
12.2.1 网页
12.2.2 书籍与论文
12.2.3 维基百科
12.2.4 代码
12.2.5 混合型数据集
12.3 常用的微调数据集
12.3.1 指令微调数据集
12.3.2 人类对齐数据集
12.4 代码库资源
12.4.1 Hugging Face开源社区
12.4.2 DeepSpeed
12.4.3 Megatron-LM
第13章 总结
参考文献
前辅文
第一部分 背景与基础知识
第1章 引言
1.1 语言模型的发展历程
1.2 大语言模型的能力特点
1.3 大语言模型关键技术概览
1.4 大语言模型对科技发展的影响
1.5 本书的内容组织
1.6 本书配套资源说明
第2章 基础介绍
2.1 大语言模型的构建过程
2.1.1 大规模预训练
2.1.2 指令微调与人类对齐
2.2 扩展定律
2.2.1 KM扩展定律
2.2.2 Chinchilla扩展定律
2.2.3 关于扩展定律的讨论
2.3 涌现能力
2.3.1 代表性的涌现能力
2.3.2 涌现能力与扩展定律的关系
2.4 GPT系列模型的技术演变
2.4.1 早期探索
2.4.2 规模扩展
2.4.3 能力增强
2.4.4 性能跃升
习题
第二部分 预训练
第3章 数据准备
3.1 数据来源
3.1.1 通用文本数据
3.1.2 专用文本数据
3.2 数据预处理
3.2.1 质量过滤
3.2.2 敏感内容过滤
3.2.3 数据去重
3.2.4 数据对预训练效果的影响
3.2.5 数据预处理实践
3.3 词元化（分词）
3.3.1 BPE分词
3.3.2 WordPiece分词
3.3.3 Unigram分词
3.3.4 分词器的选用
3.4 数据调度
3.4.1 数据混合
3.4.2 数据课程
3.4.3 预训练数据准备概述——以YuLan模型为例
习题
第4章 模型架构
4.1 Transformer模型
4.1.1 输入编码层
4.1.2 名头注意力层
4.1.3 前馈网络层
4.1.4 编码器
4.1.5 解码器
4.2 详细配置
4.2.1 归一化方法
4.2.2 归一化模块位置
4.2.3 激活函数
4.2.4 位置编码
4.2.5 注意力机制
4.2.6 混合专家模型
4.2.7 LLaMA的详细配置
4.3 主流架构
4.3.1 编码器-解码器架构
4.3.2 因果解码器架构
4.3.3 前缀解码器架构
4.4 长上下文模型
4.4.1 位置编码扩展
4.4.2 上下文窗口调整
4.4.3 长文本数据
4.5 新型模型架构
4.5.1 参数化状态空间模型
4.5.2 状态空间模型变种
习题
第5章 模型预训练
5.1 预训练任务
5.1.1 语言建模
5.1.2 去噪自编码
5.1.3 混合去噪器
5.2 优化参数设置
5.2.1 基于批次数据的训练
5.2.2 学习率
5.2.3 优化器
5.2.4 稳定优化技术
5.3 可扩展的训练技术
5.3.1 3D并行训练
5.3.2 零冗余优化器
5.3.3 激活重计算
5.3.4 混合精度训练
5.4 模型参数量计算与效率分析
5.4.1 参数量计算
5.4.2 训练运算量估计
5.4.3 训练时间估计
5.4.4 训练显存估计
5.5 预训练代码实践
习题
第三部分 微调与对齐
第6章 指令微调
6.1 指令数据的构建
6.1.1 基于现有的NLP任务数据集构建
6.1.2 基于日常对话数据构建
6.1.3 基于合成数据构建
6.1.4 指令数据构建的提升方法
6.1.5 指令微调的作用
6.2 指令微调的训练策略
6.2.1 优化设置
6.2.2 数据组织策略
6.3 参数高效的模型微调
6.3.1 低秩适配微调方法
6.3.2 其他高效微调方法
6.4 代码实践与分析
6.4.1 指令微调的代码实践
6.4.2 指令微调的实验性分析
6.4.3 LoRA代码实践与分析
习题
第7章 人类对齐
7.1 人类对齐的背景与标准
7.1.1 背景
7.1.2 对齐标准
7.2 基于人类反馈的强化学习
7.2.1 RLHF概述
7.2.2 人类反馈数据的收集
7.2.3 奖励模型的训练
7.2.4 强化学习训练
7.2.5 代表性RLHF工作介绍
7.2.6 进阶RLHF方法介绍
7.3 非强化学习的对齐方法
7.3.1 代表性监督对齐算法DPO
7.3.2 其他有监督对齐算法
7.4 关于SFT和RLHF的进一步讨论
7.4.1 基于学习方式的总体比较
7.4.2 SFT的优缺点
7.4.3 RLHF的优缺点
7.5 幻象
7.5.1 幻象的定义与分类
7.5.2 幻象的生成原因
7.5.3 幻象的检测方法
7.5.4 幻象的消除方法
习题
第四部分 模型使用
第8章 解码与部署
8.1 解码策略
8.1.1 背景
8.1.2 贪心搜索的改进
8.1.3 随机采样的改进策略
8.1.4 实际使用设置
8.2 解码加速算法
8.2.1 解码效率分析
8.2.2 系统级优化
8.2.3 解码策略优化
8.2.4 解码方法实践
8.3 低资源部署策略
8.3.1 量化基础知识
8.3.2 训练后量化方法
8.3.3 经验性分析与相关结论
8.4 其他模型压缩方法
8.4.1 模型蒸馏
8.4.2 模型剪枝
习题
第9章 提示学习
9.1 基础提示
9.1.1 人工提示设计
9.1.2 自动提示优化
9.2 上下文学习
9.2.1 上下文学习的形式化定义
9.2.2 示例设计
9.2.3 底层机制
9.3 思维链提示
9.3.1 思维链提示的基本形式
9.3.2 思维链提示的优化策略
9.3.3 关于思维链的进一步讨论
9.4 检索增强生成
9.4.1 检索增强生成的基本流程
9.4.2 检索增强生成的优化策略
习题
第10章 规划与智能体
10.1 基于大语言模型的规划
10.1.1 整体框架
10.1.2 方案生成
10.1.3 反馈获取
10.2 基于大语言模型的智能体
10.2.1 智能体概述
10.2.2 大语言模型智能体的构建
10.2.3 多智能体系统的构建
10.2.4 大语言模型智能体的典型应用
10.2.5待解决的关键技术问题
习题
第五部分 评测与资源
第11章 模型评测
11.1 评测指标与评测方法
11.1.1 常见评测指标
11.1.2 评测范式与方法
11.2 基础能力评测
11.2.1 语言生成
11.2.2 知识利用
11.2.3 复杂推理
11.3 高级能力评测
11.3.1 人类对齐
11.3.2 环境交互
11.3.3 工具使用
11.4 公开综合评测体系
11.4.1 MMLU
11.4.2 BIG-Bench
11.4.3 HELM
11.4.4 C-Eval
11.4.5 其他评测数据集与资源
11.4.6 公开评测资源选择参考
11.4.7 评测代码实践
习题
第12章 模型资源
12.1 公开可用的模型检查点
12.1.1 公开可用的通用大语言模型检查点
12.1.2 LLaMA本休系列
12.2 常用的预训练数据集
12.2.1 网页
12.2.2 书籍与论文
12.2.3 维基百科
12.2.4 代码
12.2.5 混合型数据集
12.3 常用的微调数据集
12.3.1 指令微调数据集
12.3.2 人类对齐数据集
12.4 代码库资源
12.4.1 Hugging Face开源社区
12.4.2 DeepSpeed
12.4.3 Megatron-LM
第13章 总结
参考文献
前辅文
第一部分 背景与基础知识
第1章 引言
1.1 语言模型的发展历程
1.2 大语言模型的能力特点
1.3 大语言模型关键技术概览
1.4 大语言模型对科技发展的影响
1.5 本书的内容组织
1.6 本书配套资源说明
第2章 基础介绍
2.1 大语言模型的构建过程
2.1.1 大规模预训练
2.1.2 指令微调与人类对齐
2.2 扩展定律
2.2.1 KM扩展定律
2.2.2 Chinchilla扩展定律
2.2.3 关于扩展定律的讨论
2.3 涌现能力
2.3.1 代表性的涌现能力
2.3.2 涌现能力与扩展定律的关系
2.4 GPT系列模型的技术演变
2.4.1 早期探索
2.4.2 规模扩展
2.4.3 能力增强
2.4.4 性能跃升
习题
第二部分 预训练
第3章 数据准备
3.1 数据来源
3.1.1 通用文本数据
3.1.2 专用文本数据
3.2 数据预处理
3.2.1 质量过滤
3.2.2 敏感内容过滤
3.2.3 数据去重
3.2.4 数据对预训练效果的影响
3.2.5 数据预处理实践
3.3 词元化（分词）
3.3.1 BPE分词
3.3.2 WordPiece分词
3.3.3 Unigram分词
3.3.4 分词器的选用
3.4 数据调度
3.4.1 数据混合
3.4.2 数据课程
3.4.3 预训练数据准备概述——以YuLan模型为例
习题
第4章 模型架构
4.1 Transformer模型
4.1.1 输入编码层
4.1.2 名头注意力层
4.1.3 前馈网络层
4.1.4 编码器
4.1.5 解码器
4.2 详细配置
4.2.1 归一化方法
4.2.2 归一化模块位置
4.2.3 激活函数
4.2.4 位置编码
4.2.5 注意力机制
4.2.6 混合专家模型
4.2.7 LLaMA的详细配置
4.3 主流架构
4.3.1 编码器-解码器架构
4.3.2 因果解码器架构
4.3.3 前缀解码器架构
4.4 长上下文模型
4.4.1 位置编码扩展
4.4.2 上下文窗口调整
4.4.3 长文本数据
4.5 新型模型架构
4.5.1 参数化状态空间模型
4.5.2 状态空间模型变种
习题
第5章 模型预训练
5.1 预训练任务
5.1.1 语言建模
5.1.2 去噪自编码
5.1.3 混合去噪器
5.2 优化参数设置
5.2.1 基于批次数据的训练
5.2.2 学习率
5.2.3 优化器
5.2.4 稳定优化技术
5.3 可扩展的训练技术
5.3.1 3D并行训练
5.3.2 零冗余优化器
5.3.3 激活重计算
5.3.4 混合精度训练
5.4 模型参数量计算与效率分析
5.4.1 参数量计算
5.4.2 训练运算量估计
5.4.3 训练时间估计
5.4.4 训练显存估计
5.5 预训练代码实践
习题
第三部分 微调与对齐
第6章 指令微调
6.1 指令数据的构建
6.1.1 基于现有的NLP任务数据集构建
6.1.2 基于日常对话数据构建
6.1.3 基于合成数据构建
6.1.4 指令数据构建的提升方法
6.1.5 指令微调的作用
6.2 指令微调的训练策略
6.2.1 优化设置
6.2.2 数据组织策略
6.3 参数高效的模型微调
6.3.1 低秩适配微调方法
6.3.2 其他高效微调方法
6.4 代码实践与分析
6.4.1 指令微调的代码实践
6.4.2 指令微调的实验性分析
6.4.3 LoRA代码实践与分析
习题
第7章 人类对齐
7.1 人类对齐的背景与标准
7.1.1 背景
7.1.2 对齐标准
7.2 基于人类反馈的强化学习
7.2.1 RLHF概述
7.2.2 人类反馈数据的收集
7.2.3 奖励模型的训练
7.2.4 强化学习训练
7.2.5 代表性RLHF工作介绍
7.2.6 进阶RLHF方法介绍
7.3 非强化学习的对齐方法
7.3.1 代表性监督对齐算法DPO
7.3.2 其他有监督对齐算法
7.4 关于SFT和RLHF的进一步讨论
7.4.1 基于学习方式的总体比较
7.4.2 SFT的优缺点
7.4.3 RLHF的优缺点
7.5 幻象
7.5.1 幻象的定义与分类
7.5.2 幻象的生成原因
7.5.3 幻象的检测方法
7.5.4 幻象的消除方法
习题
第四部分 模型使用
第8章 解码与部署
8.1 解码策略
8.1.1 背景
8.1.2 贪心搜索的改进
8.1.3 随机采样的改进策略
8.1.4 实际使用设置
8.2 解码加速算法
8.2.1 解码效率分析
8.2.2 系统级优化
8.2.3 解码策略优化
8.2.4 解码方法实践
8.3 低资源部署策略
8.3.1 量化基础知识
8.3.2 训练后量化方法
8.3.3 经验性分析与相关结论
8.4 其他模型压缩方法
8.4.1 模型蒸馏
8.4.2 模型剪枝
习题
第9章 提示学习
9.1 基础提示
9.1.1 人工提示设计
9.1.2 自动提示优化
9.2 上下文学习
9.2.1 上下文学习的形式化定义
9.2.2 示例设计
9.2.3 底层机制
9.3 思维链提示
9.3.1 思维链提示的基本形式
9.3.2 思维链提示的优化策略
9.3.3 关于思维链的进一步讨论
9.4 检索增强生成
9.4.1 检索增强生成的基本流程
9.4.2 检索增强生成的优化策略
习题
第10章 规划与智能体
10.1 基于大语言模型的规划
10.1.1 整体框架
10.1.2 方案生成
10.1.3 反馈获取
10.2 基于大语言模型的智能体
10.2.1 智能体概述
10.2.2 大语言模型智能体的构建
10.2.3 多智能体系统的构建
10.2.4 大语言模型智能体的典型应用
10.2.5待解决的关键技术问题
习题
第五部分 评测与资源
第11章 模型评测
11.1 评测指标与评测方法
11.1.1 常见评测指标
11.1.2 评测范式与方法
11.2 基础能力评测
11.2.1 语言生成
11.2.2 知识利用
11.2.3 复杂推理
11.3 高级能力评测
11.3.1 人类对齐
11.3.2 环境交互
11.3.3 工具使用
11.4 公开综合评测体系
11.4.1 MMLU
11.4.2 BIG-Bench
11.4.3 HELM
11.4.4 C-Eval
11.4.5 其他评测数据集与资源
11.4.6 公开评测资源选择参考
11.4.7 评测代码实践
习题
第12章 模型资源
12.1 公开可用的模型检查点
12.1.1 公开可用的通用大语言模型检查点
12.1.2 LLaMA本休系列
12.2 常用的预训练数据集
12.2.1 网页
12.2.2 书籍与论文
12.2.3 维基百科
12.2.4 代码
12.2.5 混合型数据集
12.3 常用的微调数据集
12.3.1 指令微调数据集
12.3.2 人类对齐数据集
12.4 代码库资源
12.4.1 Hugging Face开源社区
12.4.2 DeepSpeed
12.4.3 Megatron-LM
第13章 总结
参考文献
前辅文
第一部分 背景与基础知识
第1章 引言
1.1 语言模型的发展历程
1.2 大语言模型的能力特点
1.3 大语言模型关键技术概览
1.4 大语言模型对科技发展的影响
1.5 本书的内容组织
1.6 本书配套资源说明
第2章 基础介绍
2.1 大语言模型的构建过程
2.1.1 大规模预训练
2.1.2 指令微调与人类对齐
2.2 扩展定律
2.2.1 KM扩展定律
2.2.2 Chinchilla扩展定律
2.2.3 关于扩展定律的讨论
2.3 涌现能力
2.3.1 代表性的涌现能力
2.3.2 涌现能力与扩展定律的关系
2.4 GPT系列模型的技术演变
2.4.1 早期探索
2.4.2 规模扩展
2.4.3 能力增强
2.4.4 性能跃升
习题
第二部分 预训练
第3章 数据准备
3.1 数据来源
3.1.1 通用文本数据
3.1.2 专用文本数据
3.2 数据预处理
3.2.1 质量过滤
3.2.2 敏感内容过滤
3.2.3 数据去重
3.2.4 数据对预训练效果的影响
3.2.5 数据预处理实践
3.3 词元化（分词）
3.3.1 BPE分词
3.3.2 WordPiece分词
3.3.3 Unigram分词
3.3.4 分词器的选用
3.4 数据调度
3.4.1 数据混合
3.4.2 数据课程
3.4.3 预训练数据准备概述——以YuLan模型为例
习题
第4章 模型架构
4.1 Transformer模型
4.1.1 输入编码层
4.1.2 名头注意力层
4.1.3 前馈网络层
4.1.4 编码器
4.1.5 解码器
4.2 详细配置
4.2.1 归一化方法
4.2.2 归一化模块位置
4.2.3 激活函数
4.2.4 位置编码
4.2.5 注意力机制
4.2.6 混合专家模型
4.2.7 LLaMA的详细配置
4.3 主流架构
4.3.1 编码器-解码器架构
4.3.2 因果解码器架构
4.3.3 前缀解码器架构
4.4 长上下文模型
4.4.1 位置编码扩展
4.4.2 上下文窗口调整
4.4.3 长文本数据
4.5 新型模型架构
4.5.1 参数化状态空间模型
4.5.2 状态空间模型变种
习题
第5章 模型预训练
5.1 预训练任务
5.1.1 语言建模
5.1.2 去噪自编码
5.1.3 混合去噪器
5.2 优化参数设置
5.2.1 基于批次数据的训练
5.2.2 学习率
5.2.3 优化器
5.2.4 稳定优化技术
5.3 可扩展的训练技术
5.3.1 3D并行训练
5.3.2 零冗余优化器
5.3.3 激活重计算
5.3.4 混合精度训练
5.4 模型参数量计算与效率分析
5.4.1 参数量计算
5.4.2 训练运算量估计
5.4.3 训练时间估计
5.4.4 训练显存估计
5.5 预训练代码实践
习题
第三部分 微调与对齐
第6章 指令微调
6.1 指令数据的构建
6.1.1 基于现有的NLP任务数据集构建
6.1.2 基于日常对话数据构建
6.1.3 基于合成数据构建
6.1.4 指令数据构建的提升方法
6.1.5 指令微调的作用
6.2 指令微调的训练策略
6.2.1 优化设置
6.2.2 数据组织策略
6.3 参数高效的模型微调
6.3.1 低秩适配微调方法
6.3.2 其他高效微调方法
6.4 代码实践与分析
6.4.1 指令微调的代码实践
6.4.2 指令微调的实验性分析
6.4.3 LoRA代码实践与分析
习题
第7章 人类对齐
7.1 人类对齐的背景与标准
7.1.1 背景
7.1.2 对齐标准
7.2 基于人类反馈的强化学习
7.2.1 RLHF概述
7.2.2 人类反馈数据的收集
7.2.3 奖励模型的训练
7.2.4 强化学习训练
7.2.5 代表性RLHF工作介绍
7.2.6 进阶RLHF方法介绍
7.3 非强化学习的对齐方法
7.3.1 代表性监督对齐算法DPO
7.3.2 其他有监督对齐算法
7.4 关于SFT和RLHF的进一步讨论
7.4.1 基于学习方式的总体比较
7.4.2 SFT的优缺点
7.4.3 RLHF的优缺点
7.5 幻象
7.5.1 幻象的定义与分类
7.5.2 幻象的生成原因
7.5.3 幻象的检测方法
7.5.4 幻象的消除方法
习题
第四部分 模型使用
第8章 解码与部署
8.1 解码策略
8.1.1 背景
8.1.2 贪心搜索的改进
8.1.3 随机采样的改进策略
8.1.4 实际使用设置
8.2 解码加速算法
8.2.1 解码效率分析
8.2.2 系统级优化
8.2.3 解码策略优化
8.2.4 解码方法实践
8.3 低资源部署策略
8.3.1 量化基础知识
8.3.2 训练后量化方法
8.3.3 经验性分析与相关结论
8.4 其他模型压缩方法
8.4.1 模型蒸馏
8.4.2 模型剪枝
习题
第9章 提示学习
9.1 基础提示
9.1.1 人工提示设计
9.1.2 自动提示优化
9.2 上下文学习
9.2.1 上下文学习的形式化定义
9.2.2 示例设计
9.2.3 底层机制
9.3 思维链提示
9.3.1 思维链提示的基本形式
9.3.2 思维链提示的优化策略
9.3.3 关于思维链的进一步讨论
9.4 检索增强生成
9.4.1 检索增强生成的基本流程
9.4.2 检索增强生成的优化策略
习题
第10章 规划与智能体
10.1 基于大语言模型的规划
10.1.1 整体框架
10.1.2 方案生成
10.1.3 反馈获取
10.2 基于大语言模型的智能体
10.2.1 智能体概述
10.2.2 大语言模型智能体的构建
10.2.3 多智能体系统的构建
10.2.4 大语言模型智能体的典型应用
10.2.5待解决的关键技术问题
习题
第五部分 评测与资源
第11章 模型评测
11.1 评测指标与评测方法
11.1.1 常见评测指标
11.1.2 评测范式与方法
11.2 基础能力评测
11.2.1 语言生成
11.2.2 知识利用
11.2.3 复杂推理
11.3 高级能力评测
11.3.1 人类对齐
11.3.2 环境交互
11.3.3 工具使用
11.4 公开综合评测体系
11.4.1 MMLU
11.4.2 BIG-Bench
11.4.3 HELM
11.4.4 C-Eval
11.4.5 其他评测数据集与资源
11.4.6 公开评测资源选择参考
11.4.7 评测代码实践
习题
第12章 模型资源
12.1 公开可用的模型检查点
12.1.1 公开可用的通用大语言模型检查点
12.1.2 LLaMA本休系列
12.2 常用的预训练数据集
12.2.1 网页
12.2.2 书籍与论文
12.2.3 维基百科
12.2.4 代码
12.2.5 混合型数据集
12.3 常用的微调数据集
12.3.1 指令微调数据集
12.3.2 人类对齐数据集
12.4 代码库资源
12.4.1 Hugging Face开源社区
12.4.2 DeepSpeed
12.4.3 Megatron-LM
第13章 总结
参考文献
