1 声纹技术的前世今生 1 1.1 什么是声纹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 最早的声纹技术 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 声纹技术的发展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3.1 声纹技术与音频信号处理 . . . . . . . . . . . . . . . . . . . . . . 5 1.3.2 模板匹配方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.3.3 早期统计学方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3.4 高斯混合模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3.5 联合因子分析与 i-vector . . . . . . . . . . . . . . . . . . . . . . . 9 1.4 大变革：深度学习时代的来临 . . . . . . . . . . . . . . . . . . . . . . . . 10 1.5 新的机遇：智能语音助手的普及 . . . . . . . . . . . . . . . . . . . . . . . 11 2 音频信号处理基础 14 2.1 欲懂声纹，先学音频 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.2 声学基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.2.1 语音的产生 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.2.2 正弦波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.3 频谱 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2.4 听觉与感知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 2.2.5 听觉的非线性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3 音频信号基础概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.3.1 模拟音频信号 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.3.2 模拟转数字：采样与量化 . . . . . . . . . . . . . . . . . . . . . . 27 2.3.3 音频编码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.3.4 音频文件格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.3.5 动手实践：SoX 程序 . . . . . . . . . . . . . . . . . . . . . . . . 35 2.4 从信号到特征：短时分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.4.1 传统特征分析的不足 . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.4.2 分帧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.4.3 窗函数处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.4.4 帧叠加与帧采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 2.5 常用的音频特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.5.1 时域特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 2.5.2 从时域到频域：傅里叶变换 . . . . . . . . . . . . . . . . . . . . 45 2.5.3 频谱、倒谱、时频谱和功率谱 . . . . . . . . . . . . . . . . . . . 48 2.5.4 感知线性预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.5.5 梅尔倒谱系数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 2.5.6 功率正则化倒谱系数 . . . . . . . . . . . . . . . . . . . . . . . . . 50 2.5.7 动手实践：用 LibROSA 提取 MFCC 特征 . . . . . . . . . . . . 50 3 声纹识别技术 54 3.1 声纹识别：声纹技术的核心 . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.1.1 名称与概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.1.2 按任务分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.1.3 按文本内容分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 3.1.4 系统流程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.2 声纹识别的评价指标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.2.1 相似匹配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.2.2 录入集与验证集 . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3.2.3 ROC 曲线及曲线下面积 . . . . . . . . . . . . . . . . . . . . . . . 62 3.2.4 等错率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.2.5 最小检测代价函数 . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.2.6 辨认准确率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.3 深度学习之前的方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 3.3.1 早期方法 . . . . . . . . . . . . . . . . . . . . . . .