目录 Contents赞誉前言第1章　Python和数据化运营11.1　用Python做数据化运营11.1.1　Python是什么11.1.2　数据化运营是什么21.1.3　Python用于数据化运营51.2　数据化运营所需的Python相关工具和组件61.2.1　Python程序61.2.2　Python IDE71.2.3　Python第三方库81.2.4　数据库和客户端161.2.5　SSH远程客户端181.3　内容延伸：Python的OCR和TensorFlow181.3.1　OCR工具：Tesseract-OCR181.3.2　机器学习框架—TensorFlow191.4　第一个用Python实现的数据化运营分析实例—销售预测201.4.1　案例概述201.4.2　案例过程201.4.3　案例小结281.5　本章小结28第2章　数据化运营的数据来源312.1　数据化运营的数据来源类型312.1.1　数据文件312.1.2　数据库322.1.3　API332.1.4　流式数据342.1.5　外部公开数据342.1.6　其他352.2　使用Python获取运营数据352.2.1　从文本文件读取运营数据352.2.2　从Excel获取运营数据462.2.3　从关系型数据库MySQL读取运营数据482.2.4　从非关系型数据库MongoDB读取运营数据562.2.5　从API获取运营数据592.3　内容延伸：读取非结构化网页、文本、图像、视频、语音642.3.1　从网页中爬取运营数据642.3.2　读取非结构化文本数据652.3.3　读取图像数据652.3.4　读取视频数据682.3.5　读取语音数据702.4　本章小结75第3章　11条数据化运营不得不知道的数据预处理经验763.1　数据清洗：缺失值、异常值和重复值的处理763.1.1　数据列缺失的4种处理方法763.1.2　不要轻易抛弃异常数据783.1.3　 数据重复就需要去重吗793.1.4　代码实操：Python数据清洗813.2　将分类数据和顺序数据转换为标志变量893.2.1　分类数据和顺序数据是什么893.2.2　运用标志方法处理分类和顺序数据903.2.3　代码实操：Python标志转换903.3　大数据时代的数据降维943.3.1　需要数据降维的情况943.3.2　基于特征选择的降维943.3.3　基于维度转换的降维963.3.4　代码实操：Python数据降维973.4　解决样本类别分布不均衡的问题1003.4.1　哪些运营场景中容易出现样本不均衡1003.4.2　通过过抽样和欠抽样解决样本不均衡1013.4.3　通过正负样本的惩罚权重解决样本不均衡1013.4.4　通过组合/集成方法解决样本不均衡1023.4.5　通过特征选择解决样本不均衡1023.4.6　代码实操：Python处理样本不均衡1023.5　如何解决运营数据源的冲突问题1063.5.1　为什么会出现多数据源的冲突1073.5.2　如何应对多数据源的冲突问题1093.6　数据化运营要抽样还是全量数据1093.6.1　什么时候需要抽样1103.6.2　如何进行抽样1103.6.3　抽样需要注意的几个问题1113.6.4　代码实操：Python数据抽样1133.7　解决运营数据的共线性问题1163.7.1　如何检验共线性1173.7.2　解决共线性的5种常用方法1173.7.3　代码实操：Python处理共线性问题1183.8　有关相关性分析的混沌1203.8.1　相关和因果是一回事吗1203.8.2　相关系数低就是不相关吗1213.8.3　代码实操：Python相关性分析1213.9　标准化，让运营数据落入相同的范围1223.9.1　实现中心化和正态分布的Z-Score1223.9.2　实现归一化的Max-Min1233.9.3　用于稀疏数据的MaxAbs1233.9.4　针对离群点的RobustScaler1233.9.5　代码实操：Python数据标准化处理1233.10　离散化，对运营数据做逻辑分层1263.10.1　针对时间数据的离散化1273.10.2　针对多值离散数据的离散化1273.10.3　针对连续数据的离散化1273.10.4　针对连续数据的二值化1283.10.5　代码实操：Python数据离散化处理1283.11　数据处理应该考虑哪些运营业务因素1333.11.1　考虑固定和突发运营周期1333.11.2　考虑运营需求的有效性1343.11.3　考虑交付时要贴合运营落地场景1343.11.4　不要忽视业务专家经验1353.11.5　考虑业务需求的变动因素1363.12　内容延伸：非结构化数据的预处理1373.12.1　网页数据解析1373.12.2　网络用户日志解析1443.12.3　图像的基本预处理1483.12.4　自然语言文本预处理1543.13　本章小结157第4章　跳过运营数据分析和挖掘的”大坑”1594.1　聚类分析1594.1.1　当心数据异常对聚类结果的影响1604.1.2　超大数据量时应该放弃K均值算法1604.1.3　聚类不仅是建模的终点，更是重要的中间预处理过程1624.1.4　高维数据上无法应用聚类吗1634.1.5　如何选择聚类分析算法1644.1.6　代码实操：Python聚类分析1644.2　回归分析1724.2.1　注意回归自变量之间的共线性问题1724.2.2　相关系数、判定系数和回归系数之间到底什么关系1724.2.3　判定系数是否意味着相应的因果联系1734.2.4　注意应用回归模型时研究自变量是否产生变化1734.2.5　如何选择回归分析算法1744.2.6　代码实操：Python回归分析1744.3　分类分析1834.3.1　防止分类模型的过拟合问题1834.3.2　使用关联算法做分类分析1834.3.3　用分类分析来提炼规则、提取变量、处理缺失值1844.3.4　类别划分-分类算法和聚类算法都是好手1854.3.5　如何选择分类分析算法1864.3.6　代码实操：Python分类分析1874.4　关联分析1954.4.1　频繁规则不一定是有效规则1954.4.2　不要被啤酒尿布的故事紧固你的思维1964.4.3　被忽略的”负相关”模式真的毫无用武之地吗1974.4.4　频繁规则只能打包组合应用吗1984.4.5　关联规则的序列模式1994.4.6　代码实操：Python关联分析2004.5　异常检测分析2064.5.1　异常检测中的”新奇检测”模式2074.5.2　将数据异常与业务异常相分离2074.5.3　面临维度灾难时，异常检测可能会失效2084.5.4　异常检测的结果能说明异常吗2084.5.5　代码实操：Python异常检测分析2084.6　时间序列分析2124.6.1　如果有自变量，为什么还要用时间序列2124.6.2　时间序列不适合商业环境复杂的企业2134.6.3　时间序列预测的整合、横向和纵向模式2144.6.4　代码实操：Python时间序列分析2144.7　路径、漏斗、归因和热力图分析2344.7.1　不要轻易相信用户的页面访问路径2374.7.2　如何将路径应用于更多用户行为模式的挖掘？2374.7.3　为什么很多数据都显示多渠道路径的价值很小？2384.7.4　点击热力图真的反映了用户的点击喜好？2394.7.5　为什么归因分析主要存在于线上的转化行为2404.7.6　漏斗分析和路径分析有什么区别2404.8　其他数据分析和挖掘的忠告2414.8.1　不要忘记数据质量的验证2414.8.2　不要忽视数据的落地性2424.8.3　不要把数据陈列当作数据结论2424.8.4　数据结论不要产生于单一指标2444.8.5　数据分析不要预设价值立场2444.8.6　不要忽视数据与业务的需求冲突问题2454.9　内容延伸：非结构化数据的分析与挖掘2464.9.1　词频统计2464.9.2　词性标注2494.9.3　关键字提取2534.9.4　文本聚类2554.10　本章小结258第5章　会员数据化运营2605.1　会员数据化运营概述2605.2　会员数据化运营关键指标2615.2.1　会员整体指标2615.2.2　会员营销指标2615.2.3　会员活跃度指标2635.2.4　会员价值度指标2655.2.5　会员终生价值指标2665.2.6　会员异动指标2665.3　会员数据化运营应用场景2675.3.1　会员营销2675.3.2　会员关怀2675.4　会员数据化运营分析模型2685.4.1　会员细分模型2685.4.2　会员价值度模型2695.4.3　会员活跃度模型2705.4.4　会员流失预测模型2715.4.5　会员特征分析模型2725.4.6　营销响应预测模型2735.5　会员数据化运营分析小技巧2745.5.1　使用留存分析新用户质量2745.5.2　使用AARRR做APP用户生命周期分析2755.5.3　借助动态数据流关注会员状态的轮转2765.5.4　使用协同过滤算法为新会员分析推送个性化信息2775.6　会员数据化运营分析的”大实话”2795.6.1　企业”不差钱”，还有必要做会员精准营销吗2795.6.2　用户满意度取决于期望和给予的匹配程度2805.6.3　用户不购买就是流失了吗2805.6.4　来自调研问卷的用户信息可信吗2815.6.5　不要盲目相信二八法则2835.7　案例：基于RFM的用户价值度分析2835.7.1　案例背景2835.7.2　案例主要应用技术2845.7.3　案例数据2845.7.4　案例过程2845.7.5　案例数据结论2945.7.6　案例应用和部署2955.7.7　案例注意点2955.7.8　案例引申思考2965.8　案例：基于AdaBoost的营销响应预测2975.8.1　案例背景2975.8.2　案例主要应用技术2975.8.3　案例数据2985.8.4　案例过程2985.8.5　案例数据结论3135.8.6　案例应用和部署3135.8.7　案例注意点3145.8.8　案例引申思考3155.9　本章小结315第6章　商品数据化运营3176.1 　商品数据化运营概述3176.2　商品数据化运营关键指标3176.2.1　销售类指标3176.2.2　促销活动指标3206.2.3　供应链指标3216.3　商品数据化运营应用场景3236.3.1　销售预测3236.3.2　库存分析3236.3.3　市场分析3246.3.4　促销分析3246.4　商品数据化运营分析模型3256.4.1　商品价格敏感度模型3256.4.2　新产品市场定位模型3266.4.3　销售预测模型3276.4.4　商品关联销售模型3276.4.5　异常订单检测3286.4.6　商品规划的最优组合3286.5　商品数据化运营分析小技巧3306.5.1　使用层次分析法将定量与定性分析结合3316.5.2　通过假设检验做促销拉动分析3336.5.3　使用BCG矩阵做商品结构分析3346.5.4　巧用4P分析建立完善的商品运营分析结构3366.6　商品数据化运营分析的”大实话”3376.6.1　为什么很多企业会以低于进价的价格大量销售商品3376.6.2　促销活动真的是在促进商品销售吗3396.6.3　用户关注的商品就是要买的商品吗3406.6.4　提供的选择过多其实不利于商品销售3416.7　案例：基于超参数优化的Gradient Boosting的销售预测3416.7.1　案例背景3416.7.2　案例主要应用技术3416.7.3　案例数据3426.7.4　案例过程3436.7.5　案例数据结论3516.7.6　案例应用和部署3516.7.7　案例注意点3516.7.8　案例引申思考3516.8　案例：基于LogisticRegression、　 　RandomForest、Bagging概率投票　 　组合模型的异常检测3526.8.1　案例背景3526.8.2　案例主要应用技术3526.8.3　案例数据3536.8.4　案例过程3536.8.5　案例数据结论3646.8.6　案例应用和部署3646.8.7　案例注意点3656.8.8　案例引申思考3656.9　本章小结367第7章　流量数据化运营3697.1　流量数据化运营概述3697.2　8大流量分析工具3697.3　如何选择第三方流量分析工具3727.4　流量采集分析系统的工作机制3757.4.1　流量数据采集3767.4.2　流量数据处理3797.4.3　流量数据应用3807.5　流量数据与企业数据的整合3817.5.1　流量数据整合的意义3817.5.2　流量数据整合的范畴3827.5.3　流量数据整合的方法3827.6　流量数据化运营指标3837.6.1　站外营销推广指标3837.6.2　网站流量数量指标3857.6.3　网站流量质量指标3867.7　流量数据化运营应用场景3897.7.1　流量采购3897.7.2　流量分发3917.8　流量数据化运营分析模型3917.8.1　流量波动检测3927.8.2　渠道特征聚类3937.8.3　广告整合传播模型3937.8.4　流量预测模型3977.9　流量数据化运营分析小技巧3987.9.1　给老板提供一页纸的流量dashboard3987.9.2　关注趋势、重要事件和潜在因素是日常报告的核心4007.9.3　使用从细分到多层下钻数据分析4007.9.4　通过跨屏追踪解决用户跨设备和浏览器的访问行为4017.9.5　基于时间序列的用户群体过滤4037.10　流量数据化运营分析的”大实话”4067.10.1　流量数据分析的价值其实没那么大4067.10.2　如何将流量的实时分析价值最大化4067.10.3　营销流量的质量评估是难点工作4077.10.4　个性化的媒体投放仍然面临很多问题4087.10.5　传统的网站分析方法到底缺少了什么4097.11　案例：基于自动节点树的数据异常原因下探分析4137.11.1　案例背景4137.11.2　案例主要应用技术4147.11.3　案例数据4157.11.4　案例过程4167.11.5　案例数据结论4307.11.6　案例应用和部署4317.11.7　案例注意点4327.11.8　案例引申思考4327.12　案例：基于自动K值的KMeans广告效果聚类分析4337.12.1　案例背景4337.12.2　案例主要应用技术4337.12.3　案例数据4347.12.4　案例过程4347.12.5　案例数据结论4467.12.6　案例应用和部署4477.12.7　案例注意点4487.12.8　案例引申思考4487.13　本章小结449第8章　内容数据化运营4518.1　内容数据化运营概述4518.2　内容数据化运营指标4528.3　内容数据化运营应用场景4558.4　内容数据化运营分析模型4568.4.1　情感分析模型4568.4.2　搜索优化模型 4578.4.3　文章关键字模型4578.4.4　主题模型4588.4.5　垃圾信息检测模型4598.5　内容数据化运营分析小技巧4608.5.1　通过AB测试和多变量测试找到最佳内容版本4608.5.2　通过屏幕浏览占比了解用户到底看了页面多少内容4618.5.3　通过数据分析系统与CMS打通实现个性化内容运营4628.5.4　将个性化推荐从网站应用到APP端4668.6　内容数据化运营分析的”大实话”4678.6.1　个性化内容运营不仅是整合CMS和数据系统4678.6.2　用户在着陆页上不只有跳出和继续两种状态4678.6.3　”人工组合”的内容运营价值最大化并非不能实现4688.6.4　影响内容点击率的因素不仅有位置4698.7　案例：基于潜在狄利克雷分配（LDA）的内容主题挖掘4708.7.1　案例背景4708.7.2　案例主要应用技术4708.7.3　案例数据4718.7.4　案例过程4718.7.5　案例数据结论4808.7.6　案例应用和部署4818.7.7　案例注意点4818.7.8　案例引申思考4818.8　案例：基于多项式贝叶斯的增量学习的文本分类4828.8.1　案例背景4828.8.2　案例主要应用技术4828.8.3　案例数据4828.8.4　案例过程4838.8.5　案例数据结论4918.8.6　案例应用和部署4918.8.7　案例注意点4918.8.8　案例引申思考4928.9　本章小结492第9章　数据化运营分析的终极秘籍4959.1　撰写出彩的数据分析报告的5个建议4959.1.1　完整的报告结构4959.1.2　精致的页面版式4969.1.3　漂亮的可视化图形4989.1.4　突出报告的关键信息5009.1.5　用报告对象习惯的方式撰写报告5019.2　数据化运营支持的4种扩展方式5029.2.1　数据API5029.2.2　数据模型5039.2.3　数据产品5039.2.4　运营产品5049.3　提升数据化运营价值度的5种途径5049.3.1　数据源：不只有结构化的数据，还有文本、图片、视频、语音5049.3.2　自动化：建立自动任务，解除重复劳动5059.3.3　未卜先知：建立智能预警模型，不要让运营先找你5059.3.4　智能化：向BI-AI的方向走5079.3.5　场景化：将数据嵌入运营环节之中5079.4　本章小结508附录509附录A　公开数据集509附录B　Python数据工具箱516