第1 章　大数据治理的背景和基本概念………………………………………………… 1 　　1. 1　大数据治理的定义………………………………………………………… 2 　　1. 2　大数据治理的应用………………………………………………………… 3 　　1. 2. 1　大数据治理的任务…………………………………………………… 3 　　1. 2. 2　数据治理与数据管理的区别…………………………………………… 4 　　1. 2. 3　大数据治理的典型案例……………………………………………… 4 　　1. 3　大数据治理的挑战………………………………………………………… 7 　　1. 3. 1　大数据的发展和现状………………………………………………… 7 　　1. 3. 2　当下面临的挑战……………………………………………………… 8 　　1. 4　本书的主要内容…………………………………………………………… 9 第2 章　数据架构管理……………………………………………………………… 11 　　2. 1　数据架构概述…………………………………………………………… 12 　　2. 2　IBM 数据架构参考模型………………………………………………… 13 　　2. 2. 1　逻辑层……………………………………………………………… 14 　　2. 2. 2　垂直层……………………………………………………………… 16 　　2. 3　企业数据架构参考模型………………………………………………… 17 　　2. 4　CESI 大数据参考架构模型……………………………………………… 18 　　2. 5　大数据技术参考架构…………………………………………………… 19 　　2. 6　数据湖（Data Lake） …………………………………………………… 20 　　2. 7　面向大数据的数据架构实现…………………………………………… 21 　　2. 7. 1　Hadoop ……………………………………………………………… 21 　　2. 7. 2　Storm ……………………………………………………………… 23 　　2. 7. 3　Spark ……………………………………………………………… 24 　　2. 7. 4　三种架构的比较分析………………………………………………… 25 　　2. 8　数据架构设计原则……………………………………………………… 25 第3 章　元数据管理………………………………………………………………… 27 　　3. 1　元数据概述……………………………………………………………… 28 　　3. 1. 1　定义………………………………………………………………… 28 　　3. 1. 2　组织方式…………………………………………………………… 29 　　3. 1. 3　作用和意义………………………………………………………… 31 　　3. 2　业务元数据……………………………………………………………… 32 　　3. 2. 1　意义………………………………………………………………… 32 　　3. 2. 2　概念………………………………………………………………… 33 　　3. 2. 3　实践要点…………………………………………………………… 34 　　3. 3　技术元数据……………………………………………………………… 34 　　3. 3. 1　意义………………………………………………………………… 34 　　3. 3. 2　概念………………………………………………………………… 35 　　3. 3. 3　实践要点…………………………………………………………… 36 　　3. 4　元数据管理……………………………………………………………… 36 　　3. 4. 1　元数据管理方案…………………………………………………… 37 　　3. 4. 2　元数据标准和规范………………………………………………… 39 　　3. 4. 3　元数据管理的成熟度………………………………………………… 40 第4 章　主数据管理………………………………………………………………… 42 　　4. 1　概述……………………………………………………………………… 43 　　4. 1. 1　主数据的概念……………………………………………………… 43 　　4. 1. 2　主数据的类型……………………………………………………… 44 　　4. 1. 3　主数据管理的基本思路……………………………………………… 44 　　4. 2　主数据管理系统………………………………………………………… 45 　　4. 2. 1　主数据管理的架构设计……………………………………………… 46 　　4. 2. 2　主数据管理的核心功能……………………………………………… 50 　　4. 2. 3　主数据管理的实现风格……………………………………………… 50 　　4. 3　主数据管理的成熟度…………………………………………………… 52 第5 章　大数据集成………………………………………………………………… 56 　　5. 1　数据集成的基本概念…………………………………………………… 57 　　5. 1. 1　数据集成的定义…………………………………………………… 57 　　5. 1. 2　数据集成的分类…………………………………………………… 58 　　5. 1. 3　数据集成的难点…………………………………………………… 59 　　5. 2　传统数据集成…………………………………………………………… 60 　　5. 2. 1　联邦数据库系统…………………………………………………… 61 　　5. 2. 2　中间件集成………………………………………………………… 62 　　5. 2. 3　数据仓库…………………………………………………………… 63 　　5. 3　传统数据集成的关键技术……………………………………………… 65 　　5. 3. 1　模式匹配…………………………………………………………… 65 　　5. 3. 2　数据映射…………………………………………………………… 66 　　5. 4　跨界数据集成…………………………………………………………… 67 　　5. 4. 1　基于阶段的集成…………………………………………………… 67 　　5. 4. 2　基于特征的集成…………………………………………………… 68 　　5. 4. 3　基于语义的集成…………………………………………………… 68 第6 章　数据质量管理……………………………………………………………… 71 　　6. 1　概述……………………………………………………………………… 72 　　6. 1. 1　数据质量定义……………………………………………………… 72 　　6. 1. 2　数据质量问题……………………………………………………… 74 　　6. 2　缺失值填充……………………………………………………………… 76 　　6. 2. 1　什么是缺失值……………………………………………………… 76 　　6. 2. 2　缺失值处理方法…………………………………………………… 77 　　6. 2. 3　缺失值处理例析…………………………………………………… 79 　　6. 3　实体识别与真值发现…………………………………………………… 81 　　6. 3. 1　什么是实体识别…………………………………………………… 81 　　6. 3. 2　基于规则的实体识别方法…………………………………………… 81 　　6. 3. 3　什么是真值发现…………………………………………………… 84 　　6. 3. 4　真值发现方法……………………………………………………… 85 　　6. 5　错误检测与修复………………………………………………………… 85 　　6. 5. 1　格式内容清洗……………………………………………………… 85 　　6. 5. 2　逻辑错误清洗……………………………………………………… 86 　　6. 5. 3　非需求数据清洗…………………………………………………… 87 　　6. 6　面向大数据的