第一篇 传统机器学习 第1章 机器学习概述 2 1.1 机器学习概念 2 1.1.1 什么是机器学习 2 1.1.2 机器学习有什么用 2 1.1.3 机器学习的分类 3 1.2 机器学习理论基础 9 1.2.1 过拟合和欠拟合 9 1.2.2 损失函数 9 1.2.3 模型性能度量方法 11 1.2.4 学习曲线 14 1.2.5 算法模型性能优化 17 1.3 scikit-learn简介 21 1.3.1 关于scikit-learn 21 1.3.2 安装scikit-learn 21 1.3.3 scikit-learn数据集 21 习题 27 参考文献 30 第2章 回归分析 31 2.1 一元线性回归 31 2.1.1 一元线性回归的实现 31 2.1.2 解一元线性回归的 最小二乘法 34 2.1.3 模型评估 35 2.2 多元线性回归 36 2.3 多项式回归 36 习题 41 参考文献 42 第3章 Logistic回归 43 3.1 分类问题概述 43 3.2 Logistic回归分类 44 3.2.1 Logistic回归算法的原理 44 3.2.2 Logistic回归算法实例 48 3.3 Softmax回归——多元分类 问题 55 习题 58 参考文献 59 第4章 k近邻 60 4.1 k近邻算法原理 60 4.1.1 KNN算法三要素 60 4.1.2 KNN算法之蛮力实现 原理 61 4.1.3 KNN算法之KD树实现 原理 62 4.1.4 KNN算法之球树实现 原理 64 4.1.5 KNN算法的扩展 66 4.1.6 KNN算法小结 66 4.2 用scikit-learn实现KNN 算法 67 习题 72 参考文献 72 第5章 决策树 73 5.1 决策树分类原理 74 5.2 决策树的学习过程 74 5.3 ID3算法的数学原理 75 5.3.1 什么是信息增益 75 5.3.2 ID3树中最优划分属性计算 举例 76 5.4 scikit-learn决策树算法实现 78 5.5 决策树可视化 80 习题 83 参考文献 84 第6章 朴素贝叶斯 85 6.1 基本原理 85 6.1.1 贝叶斯定理 85 6.1.2 朴素贝叶斯分类器 86 6.2 朴素贝叶斯三种基本模型 88 6.3 朴素贝叶斯的应用及特点 90 6.3.1 朴素贝叶斯常见的四种 应用 90 6.3.2 朴素贝叶斯的优缺点 90 6.3.3 提升朴素贝叶斯性能的 技巧 91 习题 93 参考文献 94 第7章 支持向量机 95 7.1 支持向量机原理 95 7.1.1 支持向量机定义 95 7.1.2 线性可分性 95 7.1.3 损失函数 96 7.1.4 经验风险与结构风险 97 7.2 标准算法 99 7.2.1 线性SVM 99 7.2.2 非线性SVM 100 7.3 scikit-learn SVM分类算法 实现 101 7.3.1 算法简单实现 101 7.3.2 算法的优化 102 习题 106 参考文献 107 第8章 神经网络 108 8.1 神经网络概述 108 8.1.1 神经元模型 108 8.1.2 感知机 109 8.1.3 神经网络 110 8.1.4 梯度下降法与反向传播 112 8.2 scikit-learn神经网络分类算法 实现 118 习题 122 参考文献 123 第9章 聚类 124 9.1 聚类概述 124 9.1.1 K-Means聚类算法 124 9.1.2 均值漂移聚类 127 9.1.3 基于密度的聚类方法 （DBSCAN） 130 9.1.4 基于高斯混合模型（GMM）的 期望最大化（EM）聚类 132 9.1.5 凝聚层次聚类 133 9.2 scikit-learn聚类算法的实现 136 习题 142 参考文献 144 第10章 降维 145 10.1 降维方法概述 145 10.1.1 主成分分析（PCA） 145 10.1.2 线性判别分析（LDA） 148 10.1.3 局部线性嵌入（LLE） 150 10.1.4 拉普拉斯特征映射 ?（LE） 151 10.2 scikit-learn降维算法实现 152 习题 157 参考文献 158 第二篇 深度学习 第11章 深度学习概述 161 11.1 深度学习的概念 161 11.2 深度学习的分类及特点 163 11.2.1 深度学习的分类 163 11.2.2 深度学习的特点 164 11.3 深度学习的历史及发展 164 11.4 深度学习的应用 165 11.5 Keras简介 166 11.5.1 Keras深度学习库 166 11.5.2 Keras安装 168 11.5.3 Keras举例 168 习题 169 参考文献 170 第12章 卷积神经网络 171 12.1 卷积与池化操作 172 12.1.1 卷积层 172 12.1.2 池化层 174 12.2 典型的CNN架构 175 12.2.1 LeNet-5 176 12.2.2 AlexNet 176 12.2.3 GoogLeNet 178 12.2.4 ResNet 180 12.3 使用Keras搭建卷积神经 网络 182 习题 185 参考文献 185 第13章 循环神经网络 186 13.1 RNN 186 13.2 LSTM 190 13.3 循环神经网络案例 191 习题 195 参考文献 195 第14章 生成对抗网络 196 14.1 生成对抗网络结构 196 14.1.1 生成对抗网络模型原理 197 14.1.2 生成对抗网络优化原理 198 14.1.3 模型训练 199 14.1.4 对抗网络的改进模型 200 14.2 生成对抗网络的构建 201 14.2.1 生成模型的构建 202 14.2.2 判别模型的构建 202 14.2.3 条件生成对抗网络的 构建 204 14.3 生成对抗网络案例 205 14.3.1 生成模型 205 14.3.2 判别模型 205 14.3.3 模型训练 206 习题 207 参考文献 208 第15章 强化学习 209 15.1 问题概述 209 15.2 价值函数 211 15.3 动态规划算法 212 15.3.1 策略迭代算法 212 15.3.2 价值迭代算法 213 15.4 蒙特卡洛算法 213 15.4.1 状态价值函数估计 214 15.4.2 动作价值函数估计 214__