第1章 绪论 1__eol__1.1 大语言模型的基本概念 1__eol__1.2 大语言模型的发展历程 4__eol__1.3 大语言模型的构建流程 8__eol__1.4 本书的内容安排 11__eol__第2章 大语言模型基础 13__eol__2.1 Transformer结构 13__eol__2.1.1 嵌入表示层 14__eol__2.1.2 注意力层 16__eol__2.1.3 前馈层 18__eol__2.1.4 残差连接与层归一化 19__eol__2.1.5 编码器和解码器结构 20__eol__2.2 生成式预训练语言模型GPT 25__eol__2.2.1 无监督预训练 26__eol__2.2.2 有监督下游任务微调 27__eol__2.2.3 基于HuggingFace的预训练语言模型实践 27__eol__2.3 大语言模型的结构 33__eol__2.3.1 LLaMA的模型结构 34__eol__2.3.2 注意力机制优化 40__eol__2.4 实践思考 47__eol__第3章 大语言模型预训练数据 49__eol__3.1 数据来源 49__eol__3.1.1 通用数据 50__eol__3.1.2 专业数据 51__eol__3.2 数据处理 52__eol__3.2.1 质量过滤 52__eol__3.2.2 冗余去除 53__eol__3.2.3 隐私消除 55__eol__3.2.4 词元切分 55__eol__3.3 数据影响分析 61__eol__3.3.1 数据规模 61__eol__3.3.2 数据质量 64__eol__3.3.3 数据多样性 66__eol__3.4 开源数据集 68__eol__3.4.1 Pile 68__eol__3.4.2 ROOTS 71__eol__3.4.3 RefinedWeb 73__eol__3.4.4 SlimPajama 75__eol__3.5 实践思考 79__eol__第4章 分布式训练 80__eol__4.1 分布式训练概述 80__eol__4.2 分布式训练的并行策略 83__eol__4.2.1 数据并行 84__eol__4.2.2 模型并行 88__eol__4.2.3 混合并行 96__eol__4.2.4 计算设备内存优化 97__eol__4.3 分布式训练的集群架构 102__eol__4.3.1 高性能计算集群的典型硬件组成 102__eol__4.3.2 参数服务器架构 103__eol__4.3.3 去中心化架构 104__eol__4.4 DeepSpeed实践 110__eol__4.4.1 基础概念 112__eol__4.4.2 LLaMA分布式训练实践 115__eol__4.5 实践思考 127__eol__第5章 有监督微调 128__eol__5.1 提示学习和语境学习 128__eol__5.1.1 提示学习 128__eol__5.1.2 语境学习 130__eol__5.2 高效模型微调 131__eol__5.2.1 LoRA 131__eol__5.2.2 LoRA的变体 135__eol__5.3 模型上下文窗口扩展 137__eol__5.3.1 具有外推能力的位置编码 137__eol__5.3.2 插值法 138__eol__5.4 指令数据的构建 141__eol__5.4.1 手动构建指令 141__eol__5.4.2 自动构建指令 142__eol__5.4.3 开源指令数据集 146__eol__5.5 DeepSpeed-Chat SFT实践 147__eol__5.5.1 代码结构 148__eol__5.5.2 数据预处理 151__eol__5.5.3 自定义模型 153__eol__5.5.4 模型训练 155__eol__5.5.5 模型推理 156__eol__5.6 实践思考 157__eol__第6章 强化学习 158__eol__6.1 基于人类反馈的强化学习 158__eol__6.1.1 强化学习概述 159__eol__6.1.2 强化学习与有监督学习的区别 161__eol__6.1.3 基于人类反馈的强化学习流程 162__eol__6.2 奖励模型 163__eol__6.2.1 数据收集 164__eol__6.2.2 模型训练 166__eol__6.2.3 开源数据 167__eol__6.3 近端策略优化 168__eol__6.3.1 策略梯度 168__eol__6.3.2 广义优势估计 173__eol__6.3.3 近端策略优化算法 175__eol__6.4 MOSS-RLHF实践 180__eol__6.4.1 奖励模型训练 180__eol__6.4.2 PPO微调 181__eol__6.5 实践思考 191__eol__第7章 大语言模型应用 193__eol__7.1 推理规划 193__eol__7.1.1 思维链提示 193__eol__7.1.2 由少至多提示 196__eol__7.2 综合应用框架 197__eol__7.2.1 LangChain框架核心模块 198__eol__7.2.2 知识库问答系统实践 216__eol__7.3 智能代理 219__eol__7.3.1 智能代理的组成 219__eol__7.3.2 智能代理的应用实例 221__eol__7.4 多模态大语言模型 228__eol__7.4.1 模型架构 229__eol__7.4.2 数据收集与训练策略 232__eol__7.4.3 多模态能力示例 236__eol__7.5 大语言模型推理优化 238__eol__7.5.1 FastServe框架 241__eol__7.5.2 vLLM推理框架实践 242__eol__7.6 实践思考 244__eol__第8章 大语言模型评估 245__eol__8.1 模型评估概述 245__eol__8.2 大语言模型评估体系 247__eol__8.2.1 知识与能力 247__eol__8.2.2 伦理与安全 250__eol__8.2.3 垂直领域评估 255__eol__8.3 大语言模型评估方法 260__eol__8.3.1 评估指标 260__eol__8.3.2 评估方法 267__eol__8.4 大语言模型评估实践 274__eol__8.4.1 基础模型评估 274__eol__8.4.2 SFT模型和RL模型评估 277__eol__8.5 实践思考 282__eol__参考文献 284__eol__索引 303__eol__