推荐序 前言 数学符号 第1 章绪论1 1.1 引言. . . . . . . . . . . . . . . . . . 2 1.2 基本思想. . . . . . . . . . . . . . 6 1.2.1 基于规则的机器翻译. . . 6 1.2.2 统计机器翻译. . . . . . . . 7 1.2.3 神经机器翻译. . . . . . . . 10 1.2.4 模型设计. . . . . . . . . . . 11 1.3 解码. . . . . . . . . . . . . . . . . . 12 1.3.1 统计机器翻译解码. . . . . 12 1.3.2 神经机器翻译解码. . . . . 16 1.3.3 搜索错误与模型错误. . . 16 1.4 神经机器翻译与统计机器翻译对比. . . . . . . . . . . . . . 18 1.4.1 表示. . . . . . . . . . . . . . 18 1.4.2 参数. . . . . . . . . . . . . . 20 1.4.3 模型存储. . . . . . . . . . . 21 1.4.4 模型假设或约束. . . . . . 21 1.4.5 端到端. . . . . . . . . . . . 22 1.4.6 译文生成. . . . . . . . . . . 22 1.4.7 训练方式. . . . . . . . . . . 23 1.4.8 鲁棒性. . . . . . . . . . . . 24 1.4.9 可解释性. . . . . . . . . . . 24 1.4.10 可干预性. . . . . . . . . . 25 1.4.11 低资源适应性. . . . . . . 25 1.4.12 对比总结. . . . . . . . . . 26 1.5 发展历史. . . . . . . . . . . . . . 26 1.5.1 机器翻译发展历史. . . . . 27 1.5.2 神经机器翻译发展历程. . 28 1.6 应用现状. . . . . . . . . . . . . . 29 1.6.1 维度1：通用领域vs. 垂直领域. . . . . . . . . . . . 29 1.6.2 维度2：多语种vs. 单语种30 1.6.3 维度3：云端vs. 终端. . 31 1.6.4 维度4：在线vs. 离线. . 31 1.6.5 维度5：B 端vs. C 端. . 31 1.6.6 维度6：纯文本vs. 多模态31 1.6.7 维度7：人机结合vs. 人机分离. . . . . . . . . . . . 31 1.6.8 维度8：机器翻译+ vs.纯机器翻译. . . . . . . . . 32 1.6.9 应用现状总结. . . . . . . . 32 1.7 本书组织. . . . . . . . . . . . . . 32 1.7.1 基础篇. . . . . . . . . . . . 32 1.7.2 原理篇. . . . . . . . . . . . 33 1.7.3 实践篇. . . . . . . . . . . . 34 1.7.4 进阶篇. . . . . . . . . . . . 34 1.8 阅读材料. . . . . . . . . . . . . . 34 1.9 短评：统计与规则的竞争. . 35 第I 部分基础篇 第2 章神经网络基础41 2.1 神经网络. . . . . . . . . . . . . . 42 2.1.1 神经元. . . . . . . . . . . . 42 2.1.2 激活函数. . . . . . . . . . . 45 2.1.3 神经元组织：层. . . . . . 46 2.2 神经网络训练. . . . . . . . . . . 48 2.2.1 损失函数. . . . . . . . . . . 49 2.2.2 随机梯度下降. . . . . . . . 52 2.2.3 计算图. . . . . . . . . . . . 56 2.2.4 训练优化. . . . . . . . . . . 57 2.2.5 正则化. . . . . . . . . . . . 59 2.3 常用神经网络简介. . . . . . . 61 2.3.1 前馈神经网络. . . . . . . . 61 2.3.2 卷积神经网络. . . . . . . . 62 2.3.3 循环神经网络. . . . . . . . 64 2.4 阅读材料. . . . . . . . . . . . . . 70 2.5 短评：神经网络与自然语言处理关系演变. . . . . . . . . 71 第3 章自然语言处理基础75 3.1 语言模型. . . . . . . . . . . . . . 76 3.1.1 n-gram 语言模型. . . . . 77 3.1.2 神经语言模型. . . . . . . . 78 3.1.3 预训练语言模型. . . . . . 80 3.2 词嵌入. . . . . . . . . . . . . . . . 82 3.2.1 分布表示与分布式表示. . 82 3.2.2 静态词嵌入. . . . . . . . . 84 3.2.3 语境化词嵌入. . . . . . . . 86 3.2.4 跨语言词嵌入. . . . . . . . 88 3.3 对齐. . . . . . . . . . . . . . . . . . 90 3.3.1 文档对齐. . . . . . . . . . . 91 3.3.2 句对齐. . . . . . . . . . . . 91 3.3.3 词对齐. . . . . . . . . . . . 92 3.4 语言分析. . . . . . . . . . . . . . 93 3.4.1 词法分析. . . . . . . . . . . 93 3.4.2 句法分析. . . . . . . . . . . 94 3.4.3 语义分析. . . . . . . . . . . 97 3.4.4 语篇分析. . . . . . . . . . . 98 3.5 阅读材料. . . . . . . . . . . . . . 99 3.6 短评：自然语言处理之经验主义与理性主义. . . . . . . 100 第II 部分原理篇 第4 章经典神经机器翻译105 4.1 编码器-解码器结构. . . . . . 106 4.1.1 编码器. . . . . . . . . . . . 108 4.1.2 解码器. . . . . . . . . . . . 110 4.2 序列到序列学习. . . . . . . . . 112 4.3 训练. . . . . . . . . . . . . . . . . . 114 4.4 解码. . . . . . . . . . . . . . . . . . 114 4.4.1 采样. . . . . . . . . . . . . . 115 4.4.2 贪心搜索. . . . . . . . . . . 115 4.4.3 柱搜索. . . . . . . . . . . . 115 4.5 阅读材料. . . . . . . . . . . . . . 116 4.6 短评：神经机器翻译之独立同发现——编码器-解 码器vs. 序列到序列. . . . . 117 第5 章基于注意力的神经机器翻译119 5.1 经典神经机器翻译模型的瓶颈. . . . . . . . . . . . . . . . . . 120 5.2 注意力机制. . . . . . . . . . . . 120 5.3 注意力机制的改进. . . . . . . 124 5.3.1 全局