第1章绪论.2

1.1 数据2

1.1.1数据的定义2

1.1.2数据的类型2

1.1.3数据的组织形式3

1.1.4数据的生命周期4

1.1.5数据的价值5

1.1.6大数据的特征6

1.2大数据7

1.2.1大数据的发展历程8

1.2.2大数据时代9

1.2.3大数据时代的驱动力10

1.2.4大数据的影响11

1.3大数据的挑战和科学意义13

1.3.1大数据带来的思维模式的变革13

1.3.2大数据计算面临的挑战14

1.3.3大数据专业与职业15

1.3.4大数据与其他新兴技术的关系19

小结25

习题26

技 术 篇

第2章大数据技术概述28

2.1大数据处理的基本流程28

2.1.1数据采集与预处理28

2.1.2数据存储与管理28

2.1.3数据分析与挖掘28

2.1.4数据可视化29

2.2大数据处理的主要模式.29

2.2.1流处理模式29

2.2.2批处理模式29

小结30

习题30

第3章数据采集与数据预处理31

3.1概述31

3.2数据采集31

3.2.1数据采集概述31

3.2.2数据采集的原则32

3.2.3数据采集的来源33

3.2.4数据采集的方法34

3.3数据预处理36

3.3.1数据清洗37

3.3.2数据集成40

3.3.3数据转换42

3.3.4数据脱敏42

3.4拓展实训43

小结55

习题55

第4章数据存储与管理56

4.1数据存储与管理技术的发展56

4.2传统的数据存储和管理技术58

4.2.1文件系统58

4.2.2关系数据库58

4.2.3数据仓库59

4.2.4并行数据库59

4.3大数据时代的数据存储和管理技术59

4.3.1分布式文件系统59

4.3.2非结构化数据库62

4.3.3几款新型数据库产品介绍64

4.4拓展实训68

小结77

习题77

第5章数据分析与挖掘78

5.1概述78

5.1.1数据分析的基础知识78

5.1.2数据分析关联技术79

5.2机器学习和数据挖掘算法79

5.2.1分类80

5.2.2聚类81

5.2.3回归分析82

5.2.4关联规则83

5.3大数据分析技术84

5.3.1技术分类84

5.3.2大数据分析的代表性作品86

5.4拓展实训88

小结99

习题99

第6章数据可视化100

6.1概述100

6.1.1数据可视化的概念100

6.1.2数据可视化的原则100

6.1.3可视化的发展历程101

6.1.4可视化的重要作用102

6.2数据可视化主要技术103

6.2.1高维数据可视化103

6.2.2网络数据可视化106

6.2.3层次结构数据可视化106

6.2.4时空数据可视化107

6.2.5文本数据可视化108

6.2.6高扩展可视化109

6.3数据可视化工具111

6.3.1入门级工具112

6.3.2信息图表工具112

6.3.3地图工具112

6.3.4时间线工具113

6.3.5高级分析工具113

6.4拓展实训113

小结125

习题126

数据管理篇

第7章大数据安全128

7.1概述128

7.1.1大数据安全与传统信息安全的异同128

7.1.2隐私和个人信息安全问题129

7.1.3国家安全问题130

7.1.4数据采集及治理的安全问题131

7.1.5数据存储与管理的安全问题133

7.1.6数据分析及处理的安全问题133

7.1.7数据交互、共享与服务的安全与隐私134

7.2大数据保护的基本原则134

7.2.1数据主权原则135

7.2.2数据保护原则135

7.2.3数据自由流通原则135

7.2.4数据安全原则136

7.3数据安全与隐私保护的支撑技术136

7.3.1密码学基础及关键技术136

7.3.2公钥基础设施140

7.3.3数字证书142

7.3.4访问控制142

7.4数据安全与隐私保护的对策143

7.4.1使用隐私保护技术143

7.4.2定期备份数据144

7.4.3定期审计数据安全状态144

7.4.4注重对大数据和隐私保护的监督和管理144

小结144

习题145

第8章大数据思维146

8.1传统的思维方式146

8.2大数据时代的思维方式147

8.2.1全样而非抽样147

8.2.2效率而非精确147

8.2.3相关而非因果148

8.2.4以数据为中心149

8.2.5我为人人，人人为我149

8.3运用大数据思维的典型案例150

8.3.1商品比价网站150

8.3.2啤酒与尿布150

8.3.3基于大数据的药品研发150

8.3.4基于大数据的微信朋友圈广告151

8.3.5搜索引擎“单击模型”151

8.3.6流感趋势预测152

8.3.7大数据的简单算法比小数据的复杂算法更有效152

8.3.8百度翻译153

小结153

习题154

第9章数据开放与共享155

9.1概述155

9.1.1数据开放与共享的发展历程155

9.1.2数据开放与共享的概念157

9.2数据开放与共享原则158

9.3我国数据开放与共享的政策159

9.3.1中国数据开放与共享的政策发展历程159

9.3.2数据开放与共享实施指南160

9.4数据开放与共享的分类161

9.4.1政府数据开放与共享161

9.4.2公共财政资助产生的科学数据开放与共享162

9.4.3企业数据开放与共享162

9.4.4个人数据开放与共享163

9.5数据开放与共享平台163

9.5.1数据开放与共享综合平台163

9.5.2数据开放与共享领域平台164

9.5.3数据开放与共享平台的基本功能165

9.5.4数据开放与共享平台的产权保护166

小结166

习题166

第10章大数据的法律政策规范167

10.1概述167

10.2我国大数据政策法规167

10.3.1数据主权170

10.3.2数据权利171

10.4数据交易监管171

10.4.1数据交易的特殊性171

10.4.2数据交易中蕴含的法律问题172

10.4.3我国数据交易政策法规现状173

10.5个人信息立法保护173

10.5.1“个人信息”的界定174

10.5.2《中华人民共和国个人信息保护法》的实施174

10.6数据跨境流动监管机制175

10.6.1数据跨境流动的现状与风险175

10.6.2我国立法应对数据跨境流动安全隐患175

小结176

习题176

应 用 篇

第11章大数据应用178

11.1大数据在互联网领域的应用178

11.1.1推荐系统概述178

11.1.2推荐机制178

11.1.3推荐系统的应用181

11.2大数据在城市交通领域的应用183

11.2.1智慧交通大数据概述183

11.2.2大数据技术在城市交通拥堵治理中的作用183

10.2.1我国大数据政策法规发展过程167

10.2.2我国数据保护监管机构168

10.2.3我国数据安全立法监管169

10.3数据主权与权利170

11.3大数据在物流行业的应用184

11.3.1物流大数据的作用184

11.3.2物流大数据应用184

11.3.3物流大数据应用案例186

11.4大数据在生物医学领域的应用186

11.4.1生物医学大数据的特点及发展现状186

11.4.2生物医学领域大数据的价值应用186

11.4.3生物医疗大数据的应用案例187

11.5大数据在金融领域的应用188

11.5.1银行领域188

11.5.2保险行业188

11.6大数据在安防领域的应用189

11.6.1大数据安防应用的关键技术189

11.6.2大数据在安防领域的应用案例190

11.6.3大数据安防面临的挑战191

小结192

习题192

第12章综合案例193

参考文献223











​