第 1章　导论　1
1.1　引言　1
1.2　基本术语　2
1.3　概念学习与假设空间　3
1.4　归纳偏好　4
1.5　经验误差与过拟合　5
1.6　模型评估与选择　5
1.7　性能度量　6
1.8　发展历程　8
1.9　应用现状　10
习题1　11
第　2章 Python初步　12
2.1　Python概述　12
2.2　NumPy库介绍　12
2.2.1　ndarray对象　12
2.2.2　ufunc函数　14
2.2.3　常用函数库　15
2.3　Matplotlib库介绍　19
2.3.1　快速绘制二维图表　19
2.3.2　Artist对象　21
2.3.3　配置属性　24
2.3.4　绘制三维图表　24
2.4　SciPy库函数　26
2.4.1　线性代数模块　26
2.4.2　优化和拟合模块　28
2.4.3　统计模块　30
2.4.4　稀疏矩阵模块　32
2.5　scikit-learn库函数　35
2.5.1　tasets　35
2.5.2　模型选择与评价　36
2.5.3　scikit-learn的机器学习　44
习题2　46
第3章　决策树　48
3.1　引言　48
3.1.1　决策树的基本思想　48
3.1.2　决策树的构造　49
3.1.3　决策树的算法框架　54
3.1.4　信息增益　54
3.2　ID3决策树　57
3.2.1　ID3算法　57
3.2.2　ID3的实现　59
3.3　C4.5决策树　63
3.3.1　C4.5算法　63
3.3.2　C4.5的实现　64
3.4　sklearn与回归树　68
3.4.1　回归算法原理　68
3.4.2　最小剩余方差法　69
3.4.3　剪枝策略　69
3.4.4　sklearn实现　70
习题3　72
第4章　神经网络　73
4.1　引言　73
4.1.1　人工神经网络的发展历程　73
4.1.2　人工神经网络的特点　74
4.1.3　人工神经网络的分类　75
4.2　神经元模型　75
4.3　感知机与多层神经网络　77
4.3.1　感知机　77
4.3.2　梯度下降法　81
4.3.3　随机梯度下降法　85
4.3.4　多层神经网络　86
4.4　误差反向传播算法　90
4.4.1　BP神经网络学习算法　90
4.4.2　BP神经网络实验　93
4.5　玻耳兹曼机　95
4.5.1　BM的拓扑结构　96
4.5.2　BM的学习过程　96
4.6　综合案例　99
习题4　101
第5章　支持向量机　103
5.1　引言　103
5.2　线性分类　104
5.2.1　函数间隔与几何间隔　104
5.2.2　对偶问题　107
5.3　线性支持向量机　108
5.4　非线性支持向量机　111
5.4.1　核技巧　111
5.4.2　sklearn SVC　113
5.5　序列最小优化算法　117
5.6　综合案例　119
习题5　125
第6章　贝叶斯分类器　127
6.1　引言　127
6.2　朴素贝叶斯分类　128
6.2.1　朴素贝叶斯算法　128
6.2.2　朴素贝叶斯分类算法　129
6.2.3　朴素贝叶斯分类算法的Python实现　131
6.2.4　sklearn的朴素贝叶斯方法　135
6.3　极大似然估计　137
6.3.1　EM算法　138
6.3.2　EM算法步骤　140
6.3.3　三硬币的EM求解　140
6.3.4　sklearn的EM方法　142
6.4　贝叶斯网络　146
6.4.1　贝叶斯网络的构造和学习　146
6.4.2　贝叶斯网络应用举例　147
习题6　150
第7章　集成学习　152
7.1　引言　152
7.2　Voting　153
7.3　Bagging　156
7.4　Boosting　161
7.4.1　AdaBoost法　161
7.4.2　Gradient Boosting　165
7.5　综合案例　168
习题7　171
第8章　聚类　172
8.1　引言　172
8.1.1　聚类的概念　172
8.1.2　典型应用　172
8.1.3　常见算法分类　172
8.1.4　聚类算法中存在的问题　173
8.2　距离计算　173
8.2.1　闵可夫斯基距离　173
8.2.2　欧几里得距离　174
8.2.3　曼哈顿距离　174
8.2.4　切比雪夫距离　175
8.2.5　皮尔逊相关系数　175
8.2.6　余弦相似度　175
8.2.7　杰卡德相似系数　176
8.3　k-means聚类　176
8.3.1　算法思想　176
8.3.2　辅助函数　177
8.3.3　编程实现k-means算法　178
8.3.4　scikit-learn中的k-means方法　179
8.3.5　算法评价　181
8.3.6　算法改进k-means 　181
8.4　密度聚类　182
8.4.1　密度聚类算法思想　182
8.4.2　DBSCAN算法　182
8.4.3　密度峰值聚类　185
8.5　层次聚类　187
8.5.1　层次聚类思想　187
8.5.2　层次聚类实现　188
8.6　综合实例　190
8.6.1　聚类算法性能比较　190
8.6.2　算法总结　193
习题8　193
第9章　降维　195
9.1　引言　195
9.1.1　降维的概念　195
9.1.2　常见算法分类　195
9.2　k-近邻学习　196
9.2.1　算法实现　197
9.2.2　算法实例　199
9.2.3　算法关键　200
9.3　主成分分析　201
9.3.1　算法思想　201
9.3.2　算法实例　202
9.4　低维嵌入　205
9.4.1　算法原理　205
9.4.2　算法实例　206
9.4.3　算法评价　208
9.5　奇异值分解　209
9.5.1　SVD算法原理　209
9.5.2　SVD算法及应用示例　210
9.6　综合实例　215
9.6.1　PCA实例　215
9.6.2　SVD实例　218
习题9　219
第　10章 概率图模型　221
10.1　引言　221
10.2　马尔科夫过程　222
10.2.1　基本概念　222
10.2.2　隐马尔科夫模型　225
10.3　Viterbi算法　227
10.4　综合案例　231
习题10　233
第　11章 深度学习初步　235
11.1　引言　235
11.2　表示问题　235
11.3　学习问题　236
11.4　优化问题　238
11.5　认知问题　238
11.6　基本模型　239
11.6.1　自编码器　239
11.6.2　受限玻耳兹曼机　240
11.6.3　卷积神经网络　242
11.7　TensorFlow的简介与安装　243
11.7.1　Python 3环境　243
11.7.2　安装TensorFlow　243
11.7.3　验证　243
11.8　TensorFlow的基本使用　243
11.9　基于卷积神经网络的MNIST手写体识别实验　245
11.9.1　conv2d函数　245
11.9.2　max_pool函数　246
11.9.3　示例程序　246
习题11　249
参考文献　250