- 高等教育出版社
- 9787040623949
- 1版
- 47260227-5
- 16开
- 理学
- 数学类
- 数据科学与大数据技术、统计学类
- 本科
内容简介
本书深入浅出地介绍了机器学习与大数据分析的核心方法，包括无监督学习、监督学习、稀疏学习、深度学习、集成学习及增量学习六大部分。书中不仅注重理论推导，还通过丰富的插图和实例直观解释原理。同时，提供R与Python两种语言的实现方法，方便读者实操练习。
本书适合普通高等学校统计学类专业、数据科学相关专业本科高年级学生或研究生使用，也可供从事大数据分析、人工智能、机器学习等领域的科技工作者参考。
目录
目录
前辅文
第一部分 无监督学习
第一章 聚类分析
1.1 简介
1.2 相似度
1.2.1 数据对象间相似度
1.2.2 簇间相似度
1.3 K均值聚类
1.3.1 原理
1.3.2 特点
1.4 模糊C均值聚类
1.5 高斯混合聚类
1.6 层次聚类
1.7 DBSCAN聚类
1.8 其他类型聚类方法
1.8.1 混合型数据聚类方法
1.8.2 双向聚类方法
1.9 聚类实践
本章小结
习题
第二章 主成分分析
2.1 简介
2.2 总体的主成分
2.2.1 总体主成分的定义
2.2.2 总体主成分的求法
2.2.3 总体主成分的性质
2.2.4 标准化变量的主成分
2.3 样本主成分
2.4 非线性主成分分析
2.4.1 核主成分分析
2.4.2 t-SNE非线性降维算法
2.5 主成分分析实践
本章小结
习题
第二部分 监督学习
第三章 回归分析
3.1 简介
3.2 单响应变量的线性回归模型
3.2.1 线性回归模型的原理
3.2.2 多重共线性
3.2.3 岭回归
3.3 广义线性模型
3.3.1 指数型分布族
3.3.2 连接函数
3.3.3 广义线性模型
3.4 多元响应变量协方差广义线性模型
3.4.1 McGLM模型的原理
3.4.2 参数估计
3.5 回归分析实践
本章小结
习题
第四章 支持向量机
4.1 简介
4.2 SVM算法
4.2.1 SVM的基本内容
4.2.2 线性可分SVM
4.2.3 软间隔与线性SVM
4.2.4 核函数与非线性SVM
4.3 SVM与逻辑斯谛回归的关系
4.4 支持向量回归
4.5 SVM实践
本章小结
习题
第五章 决策树
5.1 简介
5.2 决策树的基本原理
5.3 分类树与回归树
5.3.1 分类树
5.3.2 回归树
5.4 分支条件
5.4.1 信息熵
5.4.2 信息增益
5.4.3 增益率
5.4.4 基尼指数
5.4.5 分类误差
5.4.6 均方误差
5.4.7 算法总结
5.5 剪枝
5.5.1 预剪枝
5.5.2 后剪枝
5.6 决策树实践
本章小结
习题
第六章 保形预测简介
6.1. 简单运用
6.1.2 预测集的有效性
6.1.3 效率
6.2 保形回归
6.2.1 保形预测基本思想
6.2.2 完全保形预测
6.3 保形方法
6.3.1 分裂保形预测
6.3.2 刀切法保形预测
6.3.3 局部加权保形预测
6.4 保形分类
6.4.1 Softmax法
6.4.2 最近邻法
6.5 保形预测实践
本章小结
习题
第三部分 稀疏学习
第七章 模型选择
7.1 简介
7.2 基于准则的方法
7.2.1 各种准则
7.2.2 交叉验证
7.3 基于检验的方法
7.3.1 最优子集法
7.3.2 逐步选择法
7.4 正则化方法
7.4.1 Lasso回归
7.4.2 非凸惩罚函数回归——SCAD和MCP
7.4.3 群组变量选择方法
7.4.4 双层变量选择方法
7.5 模型选择实践
本章小结
习题
第八章 特征筛选
8.1 简介
8.2 基于边际模型的特征筛选
8.2.1 边际最小二乘
8.2.2 边际最大似然
8.2.3 边际非参估计
8.3 基于边际相关系数的特征筛选
8.3.1 广义和秩相关系数
8.3.2 确定独立秩筛选
8.3.3 距离相关系数
8.4 高维分类数据的特征筛选
8.4.1 柯尔莫哥洛夫-斯米尔诺夫统计量
8.4.2 均值——方差统计量
8.4.3 类别自适应筛选统计量
8.5 特征筛选实践
本章小结
习题
第四部分 深度学习
第九章 人工神经网络
9.1 简介
9.2 人工神经元
9.3 前馈神经网络
9.3.1 单层感知器
9.3.2 多层感知器
9.4 神经网络的正向与反向传播算法
9.4.1 神经网络的正向传播
9.4.2 神经网络的损失函数
9.4.3 反向传播算法
9.4.4 全局最小与局部极小
9.5 径向基网络
9.6 其他常见的神经网络
9.7 神经网络实践
本章小结
习题
第十章 深度学习
10.1 简介
10.2 卷积神经网络
10.2.1 卷积运算
10.2.2 基本参数
10.2.3 卷积神经网络的一般结构
10.2.4 常见的卷积神经网络
10.3 简单循环神经网络
10.4 长短时记忆神经网络
10.5 自编码器
10.6 玻尔兹曼机
10.6.1 随机神经网络
10.6.2 模拟退火算法
10.6.3 BM
10.7 深度学习实践
本章小结
习题
第五部分 集成学习
第十一章 随机森林
11.1 简介
11.2 随机森林基本概况
11.3 随机森林基本理论
11.3.1 回归树基本理论
11.3.2 分类树基本理论
11.4 随机森林实践
本章小结
习题
第十二章 Boosting方法
12.1 简介
12.1.1 Boosting方法起源
12.1.2 AdaBoost算法
12.1.3 AdaBoost实例
12.2 AdaBoost算法的误差分析
12.2.1 AdaBoost算法的训练误差
12.2.2 AdaBoost算法的泛化误差
12.3 AdaBoost算法原理探析
12.3.1 损失函数最小化视域
12.3.2 向前逐段可加视域
12.4 Boosting算法的演化
12.4.1 回归问题的Boosting算法
12.4.2 梯度Boosting方法
12.5 AdaBoost算法实践
本章小结
习题
第十三章 模型平均
13.1 简介
13.1.1 模型不确定性
13.1.2 模型选择与模型平均
13.2 贝叶斯模型平均
13.3 频率模型平均
13.4 权重选择方法
13.4.1 基于信息准则
13.4.2 基于马洛斯准则
13.4.3 基于刀切法准则
13.5 模型平均实践
本章小结
习题
第六部分 增量学习
第十四章 在线学习
14.1 简介
14.2 累积统计量在线学习
14.2.1 均值模型
14.2.2 线性模型
14.3 在线梯度下降
14.3.1 OGD算法一般形式
14.3.2 OGD算法收敛性分析
14.3.3 线性模型的OGD算法
14.3.4 岭回归模型的OGD算法
14.4 基于正则化的在线梯度下降
14.4.1 FTL算法
14.4.2 FTRL算法
14.4.3 FTRL-Proximal算法
14.5 在线学习实践
本章小结
习题
第十五章 并行计算
15.1 简介
15.2 并行计算相关概念
15.2.1 进程
15.2.2 线程
15.2.3 并行计算与分布式计算
15.2.4 同步与异步
15.2.5 通信
15.2.6 加速比
15.3 基于CPU线程的并行计算
15.3.1 创建线程
15.3.2 同步
15.4 基于CPU进程的并行计算
15.4.1 创建进程
15.4.2 进程间通信
15.4.3 同步
15.5 基于GPU线程的并行计算
15.5.1 CUDA基本概念
15.5.2 CUDA线程组织
15.5.3 CUDA内存组织
15.5.4 PyCUDA
15.5.5 TensorFlow
15.6 并行计算实践
本章小结
习题
第十六章 迁移学习
16.1 迁移学习的概述
16.1.1 分布散度的度量
16.1.2 分布散度的统一表示
16.1.3 迁移学习的统一框架
16.2 实例加权方法
16.2.1 问题定义
16.2.2 实例选择方法
16.2.3 权重自适应方法
16.3 统计特征变换方法
16.3.1 特征变换方法及问题定义
16.3.2 基于最大均值差异的方法
16.3.3 基于度量学习的方法
16.4 几何特征变换方法
16.4.1 子空间学习方法
16.4.2 流形学习方法
16.4.3 最优传输方法
16.5 迁移学习实践
本章小结
习题
参考文献
前辅文
第一部分 无监督学习
第一章 聚类分析
1.1 简介
1.2 相似度
1.2.1 数据对象间相似度
1.2.2 簇间相似度
1.3 K均值聚类
1.3.1 原理
1.3.2 特点
1.4 模糊C均值聚类
1.5 高斯混合聚类
1.6 层次聚类
1.7 DBSCAN聚类
1.8 其他类型聚类方法
1.8.1 混合型数据聚类方法
1.8.2 双向聚类方法
1.9 聚类实践
本章小结
习题
第二章 主成分分析
2.1 简介
2.2 总体的主成分
2.2.1 总体主成分的定义
2.2.2 总体主成分的求法
2.2.3 总体主成分的性质
2.2.4 标准化变量的主成分
2.3 样本主成分
2.4 非线性主成分分析
2.4.1 核主成分分析
2.4.2 t-SNE非线性降维算法
2.5 主成分分析实践
本章小结
习题
第二部分 监督学习
第三章 回归分析
3.1 简介
3.2 单响应变量的线性回归模型
3.2.1 线性回归模型的原理
3.2.2 多重共线性
3.2.3 岭回归
3.3 广义线性模型
3.3.1 指数型分布族
3.3.2 连接函数
3.3.3 广义线性模型
3.4 多元响应变量协方差广义线性模型
3.4.1 McGLM模型的原理
3.4.2 参数估计
3.5 回归分析实践
本章小结
习题
第四章 支持向量机
4.1 简介
4.2 SVM算法
4.2.1 SVM的基本内容
4.2.2 线性可分SVM
4.2.3 软间隔与线性SVM
4.2.4 核函数与非线性SVM
4.3 SVM与逻辑斯谛回归的关系
4.4 支持向量回归
4.5 SVM实践
本章小结
习题
第五章 决策树
5.1 简介
5.2 决策树的基本原理
5.3 分类树与回归树
5.3.1 分类树
5.3.2 回归树
5.4 分支条件
5.4.1 信息熵
5.4.2 信息增益
5.4.3 增益率
5.4.4 基尼指数
5.4.5 分类误差
5.4.6 均方误差
5.4.7 算法总结
5.5 剪枝
5.5.1 预剪枝
5.5.2 后剪枝
5.6 决策树实践
本章小结
习题
第六章 保形预测简介
6.1. 简单运用
6.1.2 预测集的有效性
6.1.3 效率
6.2 保形回归
6.2.1 保形预测基本思想
6.2.2 完全保形预测
6.3 保形方法
6.3.1 分裂保形预测
6.3.2 刀切法保形预测
6.3.3 局部加权保形预测
6.4 保形分类
6.4.1 Softmax法
6.4.2 最近邻法
6.5 保形预测实践
本章小结
习题
第三部分 稀疏学习
第七章 模型选择
7.1 简介
7.2 基于准则的方法
7.2.1 各种准则
7.2.2 交叉验证
7.3 基于检验的方法
7.3.1 最优子集法
7.3.2 逐步选择法
7.4 正则化方法
7.4.1 Lasso回归
7.4.2 非凸惩罚函数回归——SCAD和MCP
7.4.3 群组变量选择方法
7.4.4 双层变量选择方法
7.5 模型选择实践
本章小结
习题
第八章 特征筛选
8.1 简介
8.2 基于边际模型的特征筛选
8.2.1 边际最小二乘
8.2.2 边际最大似然
8.2.3 边际非参估计
8.3 基于边际相关系数的特征筛选
8.3.1 广义和秩相关系数
8.3.2 确定独立秩筛选
8.3.3 距离相关系数
8.4 高维分类数据的特征筛选
8.4.1 柯尔莫哥洛夫-斯米尔诺夫统计量
8.4.2 均值——方差统计量
8.4.3 类别自适应筛选统计量
8.5 特征筛选实践
本章小结
习题
第四部分 深度学习
第九章 人工神经网络
9.1 简介
9.2 人工神经元
9.3 前馈神经网络
9.3.1 单层感知器
9.3.2 多层感知器
9.4 神经网络的正向与反向传播算法
9.4.1 神经网络的正向传播
9.4.2 神经网络的损失函数
9.4.3 反向传播算法
9.4.4 全局最小与局部极小
9.5 径向基网络
9.6 其他常见的神经网络
9.7 神经网络实践
本章小结
习题
第十章 深度学习
10.1 简介
10.2 卷积神经网络
10.2.1 卷积运算
10.2.2 基本参数
10.2.3 卷积神经网络的一般结构
10.2.4 常见的卷积神经网络
10.3 简单循环神经网络
10.4 长短时记忆神经网络
10.5 自编码器
10.6 玻尔兹曼机
10.6.1 随机神经网络
10.6.2 模拟退火算法
10.6.3 BM
10.7 深度学习实践
本章小结
习题
第五部分 集成学习
第十一章 随机森林
11.1 简介
11.2 随机森林基本概况
11.3 随机森林基本理论
11.3.1 回归树基本理论
11.3.2 分类树基本理论
11.4 随机森林实践
本章小结
习题
第十二章 Boosting方法
12.1 简介
12.1.1 Boosting方法起源
12.1.2 AdaBoost算法
12.1.3 AdaBoost实例
12.2 AdaBoost算法的误差分析
12.2.1 AdaBoost算法的训练误差
12.2.2 AdaBoost算法的泛化误差
12.3 AdaBoost算法原理探析
12.3.1 损失函数最小化视域
12.3.2 向前逐段可加视域
12.4 Boosting算法的演化
12.4.1 回归问题的Boosting算法
12.4.2 梯度Boosting方法
12.5 AdaBoost算法实践
本章小结
习题
第十三章 模型平均
13.1 简介
13.1.1 模型不确定性
13.1.2 模型选择与模型平均
13.2 贝叶斯模型平均
13.3 频率模型平均
13.4 权重选择方法
13.4.1 基于信息准则
13.4.2 基于马洛斯准则
13.4.3 基于刀切法准则
13.5 模型平均实践
本章小结
习题
第六部分 增量学习
第十四章 在线学习
14.1 简介
14.2 累积统计量在线学习
14.2.1 均值模型
14.2.2 线性模型
14.3 在线梯度下降
14.3.1 OGD算法一般形式
14.3.2 OGD算法收敛性分析
14.3.3 线性模型的OGD算法
14.3.4 岭回归模型的OGD算法
14.4 基于正则化的在线梯度下降
14.4.1 FTL算法
14.4.2 FTRL算法
14.4.3 FTRL-Proximal算法
14.5 在线学习实践
本章小结
习题
第十五章 并行计算
15.1 简介
15.2 并行计算相关概念
15.2.1 进程
15.2.2 线程
15.2.3 并行计算与分布式计算
15.2.4 同步与异步
15.2.5 通信
15.2.6 加速比
15.3 基于CPU线程的并行计算
15.3.1 创建线程
15.3.2 同步
15.4 基于CPU进程的并行计算
15.4.1 创建进程
15.4.2 进程间通信
15.4.3 同步
15.5 基于GPU线程的并行计算
15.5.1 CUDA基本概念
15.5.2 CUDA线程组织
15.5.3 CUDA内存组织
15.5.4 PyCUDA
15.5.5 TensorFlow
15.6 并行计算实践
本章小结
习题
第十六章 迁移学习
16.1 迁移学习的概述
16.1.1 分布散度的度量
16.1.2 分布散度的统一表示
16.1.3 迁移学习的统一框架
16.2 实例加权方法
16.2.1 问题定义
16.2.2 实例选择方法
16.2.3 权重自适应方法
16.3 统计特征变换方法
16.3.1 特征变换方法及问题定义
16.3.2 基于最大均值差异的方法
16.3.3 基于度量学习的方法
16.4 几何特征变换方法
16.4.1 子空间学习方法
16.4.2 流形学习方法
16.4.3 最优传输方法
16.5 迁移学习实践
本章小结
习题
参考文献
前辅文
第一部分 无监督学习
第一章 聚类分析
1.1 简介
1.2 相似度
1.2.1 数据对象间相似度
1.2.2 簇间相似度
1.3 K均值聚类
1.3.1 原理
1.3.2 特点
1.4 模糊C均值聚类
1.5 高斯混合聚类
1.6 层次聚类
1.7 DBSCAN聚类
1.8 其他类型聚类方法
1.8.1 混合型数据聚类方法
1.8.2 双向聚类方法
1.9 聚类实践
本章小结
习题
第二章 主成分分析
2.1 简介
2.2 总体的主成分
2.2.1 总体主成分的定义
2.2.2 总体主成分的求法
2.2.3 总体主成分的性质
2.2.4 标准化变量的主成分
2.3 样本主成分
2.4 非线性主成分分析
2.4.1 核主成分分析
2.4.2 t-SNE非线性降维算法
2.5 主成分分析实践
本章小结
习题
第二部分 监督学习
第三章 回归分析
3.1 简介
3.2 单响应变量的线性回归模型
3.2.1 线性回归模型的原理
3.2.2 多重共线性
3.2.3 岭回归
3.3 广义线性模型
3.3.1 指数型分布族
3.3.2 连接函数
3.3.3 广义线性模型
3.4 多元响应变量协方差广义线性模型
3.4.1 McGLM模型的原理
3.4.2 参数估计
3.5 回归分析实践
本章小结
习题
第四章 支持向量机
4.1 简介
4.2 SVM算法
4.2.1 SVM的基本内容
4.2.2 线性可分SVM
4.2.3 软间隔与线性SVM
4.2.4 核函数与非线性SVM
4.3 SVM与逻辑斯谛回归的关系
4.4 支持向量回归
4.5 SVM实践
本章小结
习题
第五章 决策树
5.1 简介
5.2 决策树的基本原理
5.3 分类树与回归树
5.3.1 分类树
5.3.2 回归树
5.4 分支条件
5.4.1 信息熵
5.4.2 信息增益
5.4.3 增益率
5.4.4 基尼指数
5.4.5 分类误差
5.4.6 均方误差
5.4.7 算法总结
5.5 剪枝
5.5.1 预剪枝
5.5.2 后剪枝
5.6 决策树实践
本章小结
习题
第六章 保形预测简介
6.1. 简单运用
6.1.2 预测集的有效性
6.1.3 效率
6.2 保形回归
6.2.1 保形预测基本思想
6.2.2 完全保形预测
6.3 保形方法
6.3.1 分裂保形预测
6.3.2 刀切法保形预测
6.3.3 局部加权保形预测
6.4 保形分类
6.4.1 Softmax法
6.4.2 最近邻法
6.5 保形预测实践
本章小结
习题
第三部分 稀疏学习
第七章 模型选择
7.1 简介
7.2 基于准则的方法
7.2.1 各种准则
7.2.2 交叉验证
7.3 基于检验的方法
7.3.1 最优子集法
7.3.2 逐步选择法
7.4 正则化方法
7.4.1 Lasso回归
7.4.2 非凸惩罚函数回归——SCAD和MCP
7.4.3 群组变量选择方法
7.4.4 双层变量选择方法
7.5 模型选择实践
本章小结
习题
第八章 特征筛选
8.1 简介
8.2 基于边际模型的特征筛选
8.2.1 边际最小二乘
8.2.2 边际最大似然
8.2.3 边际非参估计
8.3 基于边际相关系数的特征筛选
8.3.1 广义和秩相关系数
8.3.2 确定独立秩筛选
8.3.3 距离相关系数
8.4 高维分类数据的特征筛选
8.4.1 柯尔莫哥洛夫-斯米尔诺夫统计量
8.4.2 均值——方差统计量
8.4.3 类别自适应筛选统计量
8.5 特征筛选实践
本章小结
习题
第四部分 深度学习
第九章 人工神经网络
9.1 简介
9.2 人工神经元
9.3 前馈神经网络
9.3.1 单层感知器
9.3.2 多层感知器
9.4 神经网络的正向与反向传播算法
9.4.1 神经网络的正向传播
9.4.2 神经网络的损失函数
9.4.3 反向传播算法
9.4.4 全局最小与局部极小
9.5 径向基网络
9.6 其他常见的神经网络
9.7 神经网络实践
本章小结
习题
第十章 深度学习
10.1 简介
10.2 卷积神经网络
10.2.1 卷积运算
10.2.2 基本参数
10.2.3 卷积神经网络的一般结构
10.2.4 常见的卷积神经网络
10.3 简单循环神经网络
10.4 长短时记忆神经网络
10.5 自编码器
10.6 玻尔兹曼机
10.6.1 随机神经网络
10.6.2 模拟退火算法
10.6.3 BM
10.7 深度学习实践
本章小结
习题
第五部分 集成学习
第十一章 随机森林
11.1 简介
11.2 随机森林基本概况
11.3 随机森林基本理论
11.3.1 回归树基本理论
11.3.2 分类树基本理论
11.4 随机森林实践
本章小结
习题
第十二章 Boosting方法
12.1 简介
12.1.1 Boosting方法起源
12.1.2 AdaBoost算法
12.1.3 AdaBoost实例
12.2 AdaBoost算法的误差分析
12.2.1 AdaBoost算法的训练误差
12.2.2 AdaBoost算法的泛化误差
12.3 AdaBoost算法原理探析
12.3.1 损失函数最小化视域
12.3.2 向前逐段可加视域
12.4 Boosting算法的演化
12.4.1 回归问题的Boosting算法
12.4.2 梯度Boosting方法
12.5 AdaBoost算法实践
本章小结
习题
第十三章 模型平均
13.1 简介
13.1.1 模型不确定性
13.1.2 模型选择与模型平均
13.2 贝叶斯模型平均
13.3 频率模型平均
13.4 权重选择方法
13.4.1 基于信息准则
13.4.2 基于马洛斯准则
13.4.3 基于刀切法准则
13.5 模型平均实践
本章小结
习题
第六部分 增量学习
第十四章 在线学习
14.1 简介
14.2 累积统计量在线学习
14.2.1 均值模型
14.2.2 线性模型
14.3 在线梯度下降
14.3.1 OGD算法一般形式
14.3.2 OGD算法收敛性分析
14.3.3 线性模型的OGD算法
14.3.4 岭回归模型的OGD算法
14.4 基于正则化的在线梯度下降
14.4.1 FTL算法
14.4.2 FTRL算法
14.4.3 FTRL-Proximal算法
14.5 在线学习实践
本章小结
习题
第十五章 并行计算
15.1 简介
15.2 并行计算相关概念
15.2.1 进程
15.2.2 线程
15.2.3 并行计算与分布式计算
15.2.4 同步与异步
15.2.5 通信
15.2.6 加速比
15.3 基于CPU线程的并行计算
15.3.1 创建线程
15.3.2 同步
15.4 基于CPU进程的并行计算
15.4.1 创建进程
15.4.2 进程间通信
15.4.3 同步
15.5 基于GPU线程的并行计算
15.5.1 CUDA基本概念
15.5.2 CUDA线程组织
15.5.3 CUDA内存组织
15.5.4 PyCUDA
15.5.5 TensorFlow
15.6 并行计算实践
本章小结
习题
第十六章 迁移学习
16.1 迁移学习的概述
16.1.1 分布散度的度量
16.1.2 分布散度的统一表示
16.1.3 迁移学习的统一框架
16.2 实例加权方法
16.2.1 问题定义
16.2.2 实例选择方法
16.2.3 权重自适应方法
16.3 统计特征变换方法
16.3.1 特征变换方法及问题定义
16.3.2 基于最大均值差异的方法
16.3.3 基于度量学习的方法
16.4 几何特征变换方法
16.4.1 子空间学习方法
16.4.2 流形学习方法
16.4.3 最优传输方法
16.5 迁移学习实践
本章小结
习题
参考文献
前辅文
第一部分 无监督学习
第一章 聚类分析
1.1 简介
1.2 相似度
1.2.1 数据对象间相似度
1.2.2 簇间相似度
1.3 K均值聚类
1.3.1 原理
1.3.2 特点
1.4 模糊C均值聚类
1.5 高斯混合聚类
1.6 层次聚类
1.7 DBSCAN聚类
1.8 其他类型聚类方法
1.8.1 混合型数据聚类方法
1.8.2 双向聚类方法
1.9 聚类实践
本章小结
习题
第二章 主成分分析
2.1 简介
2.2 总体的主成分
2.2.1 总体主成分的定义
2.2.2 总体主成分的求法
2.2.3 总体主成分的性质
2.2.4 标准化变量的主成分
2.3 样本主成分
2.4 非线性主成分分析
2.4.1 核主成分分析
2.4.2 t-SNE非线性降维算法
2.5 主成分分析实践
本章小结
习题
第二部分 监督学习
第三章 回归分析
3.1 简介
3.2 单响应变量的线性回归模型
3.2.1 线性回归模型的原理
3.2.2 多重共线性
3.2.3 岭回归
3.3 广义线性模型
3.3.1 指数型分布族
3.3.2 连接函数
3.3.3 广义线性模型
3.4 多元响应变量协方差广义线性模型
3.4.1 McGLM模型的原理
3.4.2 参数估计
3.5 回归分析实践
本章小结
习题
第四章 支持向量机
4.1 简介
4.2 SVM算法
4.2.1 SVM的基本内容
4.2.2 线性可分SVM
4.2.3 软间隔与线性SVM
4.2.4 核函数与非线性SVM
4.3 SVM与逻辑斯谛回归的关系
4.4 支持向量回归
4.5 SVM实践
本章小结
习题
第五章 决策树
5.1 简介
5.2 决策树的基本原理
5.3 分类树与回归树
5.3.1 分类树
5.3.2 回归树
5.4 分支条件
5.4.1 信息熵
5.4.2 信息增益
5.4.3 增益率
5.4.4 基尼指数
5.4.5 分类误差
5.4.6 均方误差
5.4.7 算法总结
5.5 剪枝
5.5.1 预剪枝
5.5.2 后剪枝
5.6 决策树实践
本章小结
习题
第六章 保形预测简介
6.1. 简单运用
6.1.2 预测集的有效性
6.1.3 效率
6.2 保形回归
6.2.1 保形预测基本思想
6.2.2 完全保形预测
6.3 保形方法
6.3.1 分裂保形预测
6.3.2 刀切法保形预测
6.3.3 局部加权保形预测
6.4 保形分类
6.4.1 Softmax法
6.4.2 最近邻法
6.5 保形预测实践
本章小结
习题
第三部分 稀疏学习
第七章 模型选择
7.1 简介
7.2 基于准则的方法
7.2.1 各种准则
7.2.2 交叉验证
7.3 基于检验的方法
7.3.1 最优子集法
7.3.2 逐步选择法
7.4 正则化方法
7.4.1 Lasso回归
7.4.2 非凸惩罚函数回归——SCAD和MCP
7.4.3 群组变量选择方法
7.4.4 双层变量选择方法
7.5 模型选择实践
本章小结
习题
第八章 特征筛选
8.1 简介
8.2 基于边际模型的特征筛选
8.2.1 边际最小二乘
8.2.2 边际最大似然
8.2.3 边际非参估计
8.3 基于边际相关系数的特征筛选
8.3.1 广义和秩相关系数
8.3.2 确定独立秩筛选
8.3.3 距离相关系数
8.4 高维分类数据的特征筛选
8.4.1 柯尔莫哥洛夫-斯米尔诺夫统计量
8.4.2 均值——方差统计量
8.4.3 类别自适应筛选统计量
8.5 特征筛选实践
本章小结
习题
第四部分 深度学习
第九章 人工神经网络
9.1 简介
9.2 人工神经元
9.3 前馈神经网络
9.3.1 单层感知器
9.3.2 多层感知器
9.4 神经网络的正向与反向传播算法
9.4.1 神经网络的正向传播
9.4.2 神经网络的损失函数
9.4.3 反向传播算法
9.4.4 全局最小与局部极小
9.5 径向基网络
9.6 其他常见的神经网络
9.7 神经网络实践
本章小结
习题
第十章 深度学习
10.1 简介
10.2 卷积神经网络
10.2.1 卷积运算
10.2.2 基本参数
10.2.3 卷积神经网络的一般结构
10.2.4 常见的卷积神经网络
10.3 简单循环神经网络
10.4 长短时记忆神经网络
10.5 自编码器
10.6 玻尔兹曼机
10.6.1 随机神经网络
10.6.2 模拟退火算法
10.6.3 BM
10.7 深度学习实践
本章小结
习题
第五部分 集成学习
第十一章 随机森林
11.1 简介
11.2 随机森林基本概况
11.3 随机森林基本理论
11.3.1 回归树基本理论
11.3.2 分类树基本理论
11.4 随机森林实践
本章小结
习题
第十二章 Boosting方法
12.1 简介
12.1.1 Boosting方法起源
12.1.2 AdaBoost算法
12.1.3 AdaBoost实例
12.2 AdaBoost算法的误差分析
12.2.1 AdaBoost算法的训练误差
12.2.2 AdaBoost算法的泛化误差
12.3 AdaBoost算法原理探析
12.3.1 损失函数最小化视域
12.3.2 向前逐段可加视域
12.4 Boosting算法的演化
12.4.1 回归问题的Boosting算法
12.4.2 梯度Boosting方法
12.5 AdaBoost算法实践
本章小结
习题
第十三章 模型平均
13.1 简介
13.1.1 模型不确定性
13.1.2 模型选择与模型平均
13.2 贝叶斯模型平均
13.3 频率模型平均
13.4 权重选择方法
13.4.1 基于信息准则
13.4.2 基于马洛斯准则
13.4.3 基于刀切法准则
13.5 模型平均实践
本章小结
习题
第六部分 增量学习
第十四章 在线学习
14.1 简介
14.2 累积统计量在线学习
14.2.1 均值模型
14.2.2 线性模型
14.3 在线梯度下降
14.3.1 OGD算法一般形式
14.3.2 OGD算法收敛性分析
14.3.3 线性模型的OGD算法
14.3.4 岭回归模型的OGD算法
14.4 基于正则化的在线梯度下降
14.4.1 FTL算法
14.4.2 FTRL算法
14.4.3 FTRL-Proximal算法
14.5 在线学习实践
本章小结
习题
第十五章 并行计算
15.1 简介
15.2 并行计算相关概念
15.2.1 进程
15.2.2 线程
15.2.3 并行计算与分布式计算
15.2.4 同步与异步
15.2.5 通信
15.2.6 加速比
15.3 基于CPU线程的并行计算
15.3.1 创建线程
15.3.2 同步
15.4 基于CPU进程的并行计算
15.4.1 创建进程
15.4.2 进程间通信
15.4.3 同步
15.5 基于GPU线程的并行计算
15.5.1 CUDA基本概念
15.5.2 CUDA线程组织
15.5.3 CUDA内存组织
15.5.4 PyCUDA
15.5.5 TensorFlow
15.6 并行计算实践
本章小结
习题
第十六章 迁移学习
16.1 迁移学习的概述
16.1.1 分布散度的度量
16.1.2 分布散度的统一表示
16.1.3 迁移学习的统一框架
16.2 实例加权方法
16.2.1 问题定义
16.2.2 实例选择方法
16.2.3 权重自适应方法
16.3 统计特征变换方法
16.3.1 特征变换方法及问题定义
16.3.2 基于最大均值差异的方法
16.3.3 基于度量学习的方法
16.4 几何特征变换方法
16.4.1 子空间学习方法
16.4.2 流形学习方法
16.4.3 最优传输方法
16.5 迁移学习实践
本章小结
习题
参考文献
