目 录 __eol__1 解锁大语言模型1 __eol__1.1 什么是大语言模型·1 __eol__1.2 语言模型的发展·2 __eol__1.3 GPT 系列模型的发展·3 __eol__1.4 大语言模型的关键技术·4 __eol__1.5 大语言模型的涌现能力·5 __eol__1.6 大语言模型的推理能力·5 __eol__1.7 大语言模型的缩放定律·6 __eol__参考文献·7 __eol__2 大语言模型基础技术·8 __eol__2.1 语言表示介绍·8 __eol__2.1.1 词表示技术·8 __eol__2.1.2 分词技术·9 __eol__2.2 经典结构 Transformer·14 __eol__2.2.1 输入模块·15 __eol__2.2.2 多头自注意力模块·16 __eol__2.2.3 残差连接与层归一化·19 __eol__2.2.4 前馈神经网络·19 __eol__2.2.5 解码器·19 __eol__2.3 预训练语言模型·21 __eol__2.3.1 Decoder 的代表：GPT 系列·21 __eol__2.3.2 Encoder 的代表：BERT·23 __eol__2.4 初探大语言模型·24 __eol__2.4.1 InstructGPT·24__eol__2.4.2 LLaMA 系列·28 __eol__参考文献·30 __eol__3 预训练数据构建·32 __eol__3.1 数据的常见类别及其来源·32 __eol__3.1.1 网页数据·33 __eol__3.1.2 书籍数据·34 __eol__3.1.3 百科数据·34 __eol__3.1.4 代码数据·34 __eol__3.1.5 其他数据·36 __eol__3.2 数据的预处理方式·36 __eol__3.2.1 正文提取·37 __eol__3.2.2 质量过滤·37 __eol__3.2.3 文档去重·38 __eol__3.2.4 数据集净化·39 __eol__3.3 常用数据集的完整构建方式 ·40 __eol__3.3.1 C4·40 __eol__3.3.2 MassiveText·40 __eol__3.3.3 RefinedWeb·41 __eol__3.3.4 ROOTS·42 __eol__3.4 难点和挑战·43 __eol__3.4.1 数据收集的局限性·43 __eol__3.4.2 数据质量评估的挑战·43 __eol__3.4.3 自动生成数据的风险·44 __eol__参考文献·44 __eol__4 大语言模型预训练·46 __eol__4.1 大语言模型为什么这么强·46 __eol__4.2 大语言模型的核心模块·49 __eol__4.2.1 核心架构·49 __eol__4.2.2 组成模块选型·51 __eol__4.3 大语言模型怎么训练·60 __eol__4.3.1 训练目标·60 __eol__4.3.2 数据配比·62 __eol__4.4 预训练还有什么没有解决·65 __eol__参考文献·66__eol__5 挖掘大语言模型潜能：有监督微调·67 __eol__5.1 揭开有监督微调的面纱·67 __eol__5.1.1 什么是有监督微调·67 __eol__5.1.2 有监督微调的作用与意义·68 __eol__5.1.3 有监督微调的应用场景·68 __eol__5.2 有监督微调数据的构建·69 __eol__5.2.1 有监督微调数据的格式·69 __eol__5.2.2 有监督微调数据的自动化构建·70 __eol__5.2.3 有监督微调数据的选择·75 __eol__5.3 大语言模型的微调方法·76 __eol__5.3.1 全参数微调·76 __eol__5.3.2 适配器微调·76 __eol__5.3.3 前缀微调·77 __eol__5.3.4 提示微调·78 __eol__5.3.5 低秩适配·79 __eol__5.4 大语言模型的微调和推理策略·79 __eol__5.4.1 混合微调策略·80 __eol__5.4.2 基于上下文学习的推理策略·81 __eol__5.4.3 基于思维链的推理策略·82 __eol__5.5 大语言模型微调的挑战和探索·83 __eol__5.5.1 大语言模型微调的幻觉问题·83 __eol__5.5.2 大语言模型微调面临的挑战·84 __eol__5.5.3 大语言模型微调的探索与展望 ·84 __eol__参考文献·85 __eol__6 大语言模型强化对齐·87 __eol__6.1 强化学习基础 ·87 __eol__6.1.1 强化学习的基本概念·87 __eol__6.1.2 强化学习中的随机性·88 __eol__6.1.3 强化学习的目标·89 __eol__6.1.4 Q 函数与 V 函数·89 __eol__6.2 DQN 方法·91 __eol__6.2.1 DQN 的结构·91 __eol__6.2.2 DQN 训练：基本思想·92 __eol__6.2.3 DQN 训练：目标网络·94 __eol__6.2.4 DQN 训练：探索策略·94__eol__6.2.5 DQN 训练：经验回放·95 __eol__6.2.6 DQN 训练：完整算法·95 __eol__6.2.7 DQN 决策·96 __eol__6.3 策略梯度方法·96 __eol__6.3.1 策略网络的结构·96 __eol__6.3.2 策略网络训练：策略梯度·97 __eol__6.3.3 策略网络训练：优势函数·99 __eol__6.3.4 PPO 算法·100 __eol__6.4 揭秘大语言模型中的强化建模·101 __eol__6.4.1 Token-level 强化建模·101 __eol__6.4.2 Sentence-level 强化建模·102 __eol__6.5 奖励模型·103 __eol__6.5.1 奖励模型的结构·103 __eol__6.5.2 奖励模型的训练·104 __eol__6.5.3 奖励模型损失函数分析·106 __eol__6.6 RLHF·108 __eol__6.6.1 即时奖励·108 __eol__6.6.2 RLHF 算法·109 __eol__6.7 RLHF 实战框架·111 __eol__6.8 RLHF 的难点和问题·111 __eol__6.8.1 数据瓶颈·112 __eol__6.8.2 硬件瓶颈·113 __eol__6.8.3 方法瓶颈·114 __eol__参考文献·115 __eol__7 大语言模型的评测·117 __eol__7.1 基座语言模型的评测·117 __eol__7.1.1 主要的评测维度和基准概述·118 __eol__7.1.2 具体案例：LLaMA 2 选取的评测基准·118 __eol__7.2 大语言模型的对话能力评测·120 __eol__7.2.1 评测任务·120 __eol__7.2.2 评测集的构建标准·131 __eol__7.2.3 评测方式·132 __eol__7.3 大语言模型的安全性评测·132 __eol__7.3.1 评测任务·133 __eol__7.3.2 评测方式和标准·134__eol__7.4 行业大语言模型的评测：以金融行业大语言模型为例·134 __eol__7.4.1 金融行业大语言模型的自动化评测集·135 __eol__7.4.2 金融行业大语言模型的人工评测集·136 __eol__7.5 整体能力的评测·137 __eol__7.6 主流评测数据集及基准·138 __eol__参考文献·142 __eol__8 大语言模型的应用·143 __eol__8.1 大语言模型为什么需要提示工程·143 __eol__8.1.1 人类和大语言模型进行复杂决策的对比·144 __eol__8.1.2 提示工程的作用·144 __eol__8.2 什么是提示词·145 __eol__8.2.1 提示词的基础要素·146 __eol__8.2.2 提示词设计的通用原则·146 __eol__8.3 推理引导·147 __eol__8.3.1 零样本提示·147 __eol__8.3.2 少样本提示·148 __eol__8.3.3 思维链提示·149 __eol__8.3.4 自我一致性提示·150 __eol__8.3.5 思维树提示·151 __eol__8.4 动态交互·155 __eol__8.4.1 检索增强生成技术·155 __eol__8.4.2 推理和行动协同技术·159 __eol__8.5 案例分析·161 __eol__8.5.1 案例介绍·161 __eol__8.5.2 工具设计·161 __eol__8.5.3 提示词设计·165 __eol__8.5.4 案例运行·167 __eol__8.6 局限和发展·172 __eol__8.6.1 目前的局限·172 __eol__8.6.2 未来的发展·173 __eol__参考文献·173 __eol__9 工程实践·175 __eol__9.1 大语言模型训练面临的挑战·175 __eol__9.2 大语言模型训练综述·176 __eol__9.2.1 数据并行·176__eol__9.2.2 模型并行·179 __eol__9.2.3 ZeRO 并行·18