章 机器学习概述 1 1.1 机器学习介绍 1 1.1.1 机器学习的特点 1 1.1.2 机器学习的对象 2 1.1.3 机器学习的应用 4 1.2 机器学习分类 5 1.2.1 按任务类型分类 5 1.2.2 按学*方*分类 7 1.2.3 生成模型与判别模型 9 1.3 机器学习方法三要素 11 1.3.1 模型 11 1.3.2 策略 13 1.3.3 算法 14 1.3.4 小结 23 第2章 机器学习工程实践 24 2.1 模型评估指标 24 2.1.1 回归模型的评估指标 24 2.1.2 分类模型的评估指标 25 2.1.3 聚类模型的评估指标 33 2.1.4 常用距离公式 37 2.2 模型复杂度度量 40 2.2.1 偏差与方差 40 2.2.2 过拟合与正则化 42 2.3 特征工程与模型调优 47 2.3.1 数据挖掘项目流程 47 2.3.2 特征工程 50 2.3.3 模型*择与模型调优 57 第3章 线*回归 63 3.1 问题引入 63 3.2 线*回归模型 64 3.2.1 模型建立 64 3.2.2 策略确定 65 3.2.3 算法求解 66 3.2.4 线*回归模型流程 67 3.3 线*回归的scikit-learn实现 67 3.3.1 普通线*回归 6* 3.3.2 Lasso回归 69 3.3.3 岭回归 70 3.3.4 ElasticNet回归 71 3.4 线*回归实例 73 3.5 小结 75 第4章 朴素贝叶斯 77 4.1 概述 77 4.2 相关原理 77 4.2.1 朴素贝叶斯基本原理 77 4.2.2 原理的进一步阐述 7***.2.3 后验概率优*化的含义 82 4.2.4 拉普拉斯平滑 83 4.3 朴素贝叶斯的三种形式及scikit-learn实现 84 4.3.1 高斯型 84 4.3.2 多项式型 85 4.3.3 伯努利型 86 4.4 中文文本分类项目 87 4.4.1 项目简介 87 4.4.2 项目过程 87 4.4.3 完整程序实现 94 4.5 小结 100 第5章 K近邻 102 5.1 概述 102 5.2 K近邻分类原理 102 5.2.1 K值的*择 103 5.2.2 距离度量 103 5.2.3 分类决策规则 104 5.2.4 K近邻分类算法过程 105 5.3 K近邻回归原理 106 5.3.1 回归决策规则 106 5.3.2 K近邻回归算法过程 106 5.4 搜*优化――*D树 107 5.4.1 构造KD树 107 5.4.2 搜**D树 108 5.5 K近邻的scikit-learn实现 110 5.5.1 K近邻分类 110 5.5.2 K近邻回归 112 5.6 K近邻应用实例 112 5.7 小结 115 第6章 决策树 117 6.1 概述 117 6.2 特征*择 119 6.2.1 信息增益 119 6.2.2 信息增益比 122 6.2.3 基尼指数 123 6.3 决策树生成 124 6.3.1 ID3决策树 124 6.3.2 C4.5决策树 125 6.3.3 CART决策树 126 6.4 决策树剪枝 131 6.5 决策树的scikit-learn实现 133 6.6 决策树应用于文本分类 135 6.7 小结 138 第7章 Logistic回归 140 7.1 Logistic回归概述 140 7.2 Logistic回归原理 140 7.2.1 Logistic回归模型 140 7.2.2 Logistic回归学习策略 141 7.2.3 Logistic回归优化算法 142 7.3 多项Logistic回归 144 7.4 Logistic回归的scikit-learn实现 144 7.5 Logistic回归实例 146 7.6 小结 153 第8章 支持向量机 155 8.1 感知机 155 8.1.1 感知机模型 155 8.1.2 感知机学习策略 157 8.1.3 感知机优化算法 159 8.1.4 感知机模型整体流程 159 8.1.5 小结 160 8.2 硬间隔支持向量机 160 8.2.1 引入 160 8.2.2 推导 161 8.3 软间隔支持向量机 16**8.**合页损失函数 176 8.5 非线*支持向量机 177 8.6 SVM的scikit-learn实现 180 8.6.1 线*SVM 180 8.6.2 非线*SVM 181 8.7 SVM实例 182 8.8 小结 184 第9章 随机森林 186 9.1 Bagging 186 9.2 随机森林概念 188 9.3 RF的推广――extra trees 188 9.4 RF的scikit-learn实现 189 9.5 RF的scikit-learn使用实例 192 9.5.1 程序 193 9.5.2 结果及分析 195 9.5.3 扩展 198 9.6 小结 200 0章 AdaBoost 202 10.1 AdaBoost的结构 202 10.1.1 AdaBoost的工作过程 203 10.1.2 AdaBoost多分类问题 204 10.1.3 AdaBoost回归问题 208 10.2 AdaBoost的原理 210 10.3 AdaBoost的scikit-learn实现 212 10.4 AdaBoost应用实例 214 10.5 AdaBoost模型的优缺点 217 1章 提升树 218 11.1 提升树的定义 218 11.2 梯度提升树 223 11.2.1 梯度提升树的原理推导 224 11.2.2 GBDT和GBRT模型的处理过程 226 11.2.3 梯度提升模型的scikit-learn实现 227 11.2.4 梯度提升模型的scikit-learn使用实例 230 11.2.5 GBDT模型的优缺点 236 11.3 XGBoost 236 11.3.1 XGBoost的原理 236 11.3.2 XGBoost调参 239 11.3.3 XGBoost与GBDT的比较 241 2章 聚类 243 12.1 聚类问题介绍 243 12.2 K-Means聚类 244 12.2.1 K-Means聚类过程和原理 244 12.2.2 K-Means算法优化 247 12.2.3 小结 248 12.2.4 K-Means应用实例 248 12.3 层次聚类 252 12.3.1 层次聚类的过程和原理 252 12.3.2 小结 254 12.3.3 层次聚类应用实例 254 12.4 密度聚类算法 256 12.4.1 密度聚类算法过程和原理 256 12.4.2 密度聚类小结 258 12.4.3 密度聚类应用实例 259 12.5 谱聚类 262 12.5.1 谱聚类的过程和原理 262 12.5.2 谱聚类小结 269 12.5.3 谱聚类应用实例 270 12.6 高斯混合模型 272 12.6.1 高斯混合聚类过程和原理 272 12.6.2 EM算法 274 12.6.3 小结 279 12.6.4 GMM应用实例 279 3章 降维 282 13.1 奇异值分解 282 13.1.1 矩阵的特征分解 282 13.1.2 奇异值分解 283 13.2 主成分分析 286 13.2.1 PCA原理推导 287 13.2.2 核化PCA 293 13.2.3 PCA/KPCA的scikit-learn实现 293 13.3 线*判*分析 300 13.3.1 LDA原理推导 300 13.3.2 LDA与PCA的比较 305 13.3.3 LDA应用实例 306 13.4 局部线*嵌入 30**13.*.1 局部线*嵌入介绍 30**13.*.2 局部线*嵌入过程和原理 30**13.*.3 LLE应用实例 314 4章 Word2Vec和Doc2Vec词向量模型 317 14.1 Word2Vec 317 14.1.1 Word2Vec概述 317 14.1.2 基于Hierarchical Softmax方法的CBOW模型 318 14.1.3 基于Hierarchical Softmax方法的Skip-Gram模型 322 14.1.4 基于Negative Sampling方法的CBOW模型 323 14.1.5 基于Negative Sampling方法的Skip-Gram模型 326 14.1.6 Word2Vec应用实例 327 14.2 Doc2Vec模型 32**1*.2.1 Doc2Vec模型原理 32**1*.2.2 Doc2Vec应用实例 331 5章 深度神经网络 335 15.1 深度学习 335 15.1.1 概述 335 15.1.2 深度学习发展历史 336 15.2 神经网络原理 341 15.2.1 前向传播 341 15.2.2 反向传播 343 15.2.3 实例 347 15.2.4 几种常用激活函数 354 15.2.5 梯度消失与梯度** 357 15.2.6 几种常用的优化算法 358 15.3 神经网络应用实例 363 15.4 小结 366