第1章 统计模式识别绪论
1.1 统计模式识别
1.1.1 引言
1.1.2 基本模型
1.2 解决模式识别问题的步骤
1.3 问题讨论
1.4 统计模式识别的方法
1.5 基本决策理论
1.5.1 最小错误贝叶斯决策规则
1.5.2 最小错误贝叶斯决策规则——拒绝分类
1.5.3 最小风险贝叶斯决策规则
1.5.4 最小风险贝叶斯决策规则——拒绝分类
1.5.5 NeymanPearson决策规则
1.5.6 最小最大决策
1.5.7 讨论
1.6 判别函数
1.6.1 引言
1.6.2 线性判别函数
1.6.3 分段线性判别函数
1.6.4 广义线性判别函数
1.6.5 小结
1.7 多重回归
1.8 本书梗概
1.9 提示及参考文献
习题
第2章 密度估计的参数法
2.1 引言
2.2 分布参数估计
2.2.1 估计法
2.2.2 预测法
2.3 高斯分类器
2.3.1 详述
2.3.2 高斯分类器插入估计的推导
2.3.3 应用研究举例
2.4 处理高斯分类器的奇异问题
2.4.1 引言
2.4.2 朴素贝叶斯
2.4.3 投影到子空间
2.4.4 线性判别函数
2.4.5 正则化判别分析
2.4.6 应用研究举例
2.4.7 拓展研究
2.4.8 小结
2.5 有限混合模型
2.5.1 引言
2.5.2 混合判别模型
2.5.3 正态混合模型的参数估计
2.5.4 正态混合模型协方差矩阵约束
2.5.5 混合模型分量的数量
2.5.6 期望最大化算法下的极大似然估计
2.5.7 应用研究举例
2.5.8 拓展研究
2.5.9 小结
2.6 应用研究
2.7 总结和讨论
2.8 建议
2.9 提示及参考文献
习题
第3章 密度估计的贝叶斯法
3.1 引言
3.1.1 基本原理
3.1.2 递归计算
3.1.3 比例性
3.2 解析解
3.2.1 共轭先验概率
3.2.2 方差已知的正态分布的均值估计
3.2.3 多元正态分布的均值及协方差矩阵估计
3.2.4 未知类先验概率的情形
3.2.5 小结
3.3 贝叶斯采样方案
3.3.1 引言
3.3.2 梗概
3.3.3 贝叶斯分类器的采样类型
3.3.4 拒绝采样
3.3.5 均匀比
3.3.6 重要性采样
3.4 马尔可夫链蒙特卡罗方法
3.4.1 引言
3.4.2 吉布斯(Gibbs)采样器
3.4.3 MetropolisHastings算法
3.4.4 数据扩充
3.4.5 可逆跳跃马尔可夫链蒙特卡罗方法
3.4.6 切片采样
3.4.7 MCMC举例——正弦噪声估计
3.4.8 小结
3.4.9 提示及参考文献
3.5 贝叶斯判别方法
3.5.1 标记训练数据
3.5.2 无类别标签的训练数据
3.6 连续蒙特卡罗采样
3.6.1 引言
3.6.2 基本方法
3.6.3 小结
3.7 变分贝叶斯方法
3.7.1 引言
3.7.2 描述
3.7.3 分解为因子的变分近似
3.7.4 简单的例子
3.7.5 模型选择中的运用
3.7.6 拓展研究与应用
3.7.7 小结
3.8 近似贝叶斯计算
3.8.1 引言
3.8.2 ABC拒绝采样
3.8.3 ABC MCMC采样
3.8.4 ABC总体蒙特卡罗采样
3.8.5 模型选择
3.8.6 小结
3.9 应用研究举例
3.10应用研究
3.11总结和讨论
3.12建议
3.13提示及参考文献
习题

第4章 密度估计的非参数法
4.1 引言
4.1.1 密度估计的基本性质
4.2 k近邻法
4.2.1 k近邻分类器
4.2.2 推导
4.2.3 距离度量的选择
4.2.4 最近邻法决策规则的性质
4.2.5 线性逼近排除搜索算法
4.2.6 分支定界搜索算法： kd树
4.2.7 分支定界搜索算法： ball树
4.2.8 剪辑方法
4.2.9 应用研究举例
4.2.10拓展研究
4.2.11小结
4.3 直方图法
4.3.1 直方图自适应数据
4.3.2 独立性假设（朴素贝叶斯）
4.3.3 Lancaster模型
4.3.4 最大权值相关树
4.3.5 贝叶斯网络
4.3.6 应用研究举例： 朴素贝叶斯文本分类
4.3.7 小结
4.4 核函数方法
4.4.1 有偏估计
4.4.2 延伸到多元
4.4.3 平滑参数的选择
4.4.4 核函数的选择
4.4.5 应用研究举例
4.4.6 拓展研究
4.4.7 小结
4.5 用基函数展开
4.6 copula方法
4.6.1 引言
4.6.2 数学基础
4.6.3 copula函数
4.6.4 copula概率密度函数的估计
4.6.5 简单举例
4.6.6 小结
4.7 应用研究
4.7.1 比较研究
4.8 总结和讨论
4.9 建议
4.10提示及参考文献
习题
第5章 线性判别分析
5.1 引言
5.2 两类问题算法
5.2.1 总体思路
5.2.2 感知准则
5.2.3 Fisher准则
5.2.4 最小均方误差法
5.2.5 拓展研究
5.2.6 小结
5.3 多类算法
5.3.1 总体思路
5.3.2 错误修正法
5.3.3 Fisher准则：线性判别分析
5.3.4 最小均方误差法
5.3.5 正则化
5.3.6 应用研究实例
5.3.7 拓展研究
5.3.8 小结
5.4 支持向量机
5.4.1 引言
5.4.2 两类线性可分数据问题
5.4.3 两类线性不可分数据问题
5.4.4 多类支持向量机
5.4.5 支持向量机回归
5.4.6 具体实施
5.4.7 应用研究举例
5.4.8 小结
5.5 logistic判别
5.5.1 两类问题
5.5.2 极大似然估计
5.5.3 多类logistic判别
5.5.4 应用研究举例
5.5.5 拓展研究
5.5.6 小结
5.6 应用研究
5.7 总结和讨论
5.8 建议
5.9 提示及参考文献
习题
第6章 非线性判别分析——核与投影法
6.1 引言
6.2 径向基函数
6.2.1 引言
6.2.2 模型的确定
6.2.3 指定函数的形式
6.2.4 中心位置
6.2.5 平滑参数
6.2.6 权值的计算
6.2.7 模型阶次的选择
6.2.8 简单径向基函数
6.2.9 一些调整
6.2.10径向基函数的性质
6.2.11应用研究举例
6.2.12拓展研究
6.2.13小结
6.3 非线性支持向量机
6.3.1 引言
6.3.2 二分类
6.3.3 核函数的类型
6.3.4 模型选择
6.3.5 多类支持向量机
6.3.6 概率估计
6.3.7 非线性回归
6.3.8 应用研究举例
6.3.9 拓展研究
6.3.10小结
6.4 多层感知器
6.4.1 引言
6.4.2 多层感知器结构的确定
6.4.3 多层感知器权值的确定
6.4.4 多层感知器的建模能力
6.4.5 logistic分类
6.4.6 应用研究举例
6.4.7 贝叶斯多层感知器网络
6.4.8 投影寻踪
6.4.9 小结
6.5 应用研究
6.6 总结和讨论
6.7 建议
6.8 提示及参考文献
习题
第7章 规则和决策树归纳法
7.1 引言
7.2 决策树
7.2.1 引言
7.2.2 决策树的构造
7.2.3 拆分规则的选择
7.2.4 终止拆分过程
7.2.5 为终端节点分配类标签
7.2.6 决策树剪枝（含实施示例）
7.2.7 决策树构造方法
7.2.8 其他问题
7.2.9 应用研究举例
7.2.10拓展研究
7.2.11小结
7.3 规则归纳
7.3.1 引言
7.3.2 从决策树生成规则
7.3.3 用连续覆盖算法进行规则归纳
7.3.4 应用研究举例
7.3.5 拓展研究
7.3.6 小结
7.4 多元自适应回归样条
7.4.1 引言
7.4.2 递归分割模型
7.4.3 应用研究举例
7.4.4 拓展研究
7.4.5 小结
7.5 应用研究
7.6 总结和讨论
7.7 建议
7.8 提示及参考文献
习题

第8章 组合方法
8.1 引言
8.2 分类器组合方案特性
8.2.1 特征空间
8.2.2 层次
8.2.3 训练程度
8.2.4 成员分类器的形式
8.2.5 结构
8.2.6 优化
8.3 数据融合
8.3.1 体系结构
8.3.2 贝叶斯方法
8.3.3 奈曼皮尔逊(NeymanPearson)公式
8.3.4 可训练规则
8.3.5 固定规则
8.4 分类器组合方法
8.4.1 乘积规则
8.4.2 和式规则
8.4.3 最小、最大及中值组合分类器
8.4.4 多数表决
8.4.5 Borda数
8.4.6 在类别预测上训练组合分类器
8.4.7 叠加归纳
8.4.8 专家混合器
8.4.9 bagging
8.4.10boosting
8.4.11随机森林
8.4.12模型平均
8.4.13方法小结
8.4.14应用研究举例
8.4.15拓展研究
8.5 应用研究
8.6 总结和讨论
8.7 建议
8.8 提示及参考文献
习题
第9章 性能评价
9.1 引言
9.2 性能评价
9.2.1 性能测度
9.2.2 判别力
9.2.3 可靠性
9.2.4 用于性能评价的ROC曲线
9.2.5 总体漂移和传感漂移
9.2.6 应用研究举例
9.2.7 拓展研究
9.2.8 小结
9.3 分类器性能的比较
9.3.1 哪种方法最好
9.3.2 统计检验
9.3.3 错分代价不定情况下的比较规则
9.3.4 应用研究举例
9.3.5 拓展研究
9.3.6 小结
9.4 应用研究
9.5 总结和讨论
9.6 建议
9.7 提示及参考文献
习题
第10章 特征选择与特征提取
10.1 引言
10.2 特征选择
10.2.1 引言
10.2.2 对特征选择方法的表述
10.2.3 评估方法
10.2.4 选择特征子集的搜索算法
10.2.5 全搜索： 分支定界法
10.2.6 顺序搜索
10.2.7 随机搜索
10.2.8 马尔可夫覆盖
10.2.9 特征选择的稳定性
10.2.10应用研究举例
10.2.11拓展研究
10.2.12小结
10.3 线性特征提取
10.3.1 主成分分析
10.3.2 KarhunenLoève变换
10.3.3 应用研究举例
10.3.4 拓展研究
10.3.5 小结
10.4 多维尺度分析
10.4.1 经典尺度分析
10.4.2 计量多维尺度
10.4.3 次序尺度分析
10.4.4 算法
10.4.5 用于特征提取的多维尺度分析
10.4.6 应用研究举例
10.4.7 拓展研究
10.4.8 小结
10.5 应用研究
10.6 总结和讨论
10.7 建议
10.8 提示及参考文献
习题
第11章 聚类
11.1 引言
11.2 分层聚类法
11.2.1 单链接方法
11.2.2 完全链接方法
11.2.3 平方和方法
11.2.4 通用合并算法
11.2.5 分层聚类法的性质
11.2.6 应用研究举例
11.2.7 小结
11.3 快速分类
11.4 混合模型
11.4.1 模型描述
11.4.2 应用研究举例
11.5 平方和方法
11.5.1 聚类准则
11.5.2 聚类算法
11.5.3 矢量量化
11.5.4 应用研究举例
11.5.5 拓展研究
11.5.6 小结
11.6 谱聚类
11.6.1 图论初步
11.6.2 相似矩阵
11.6.3 聚类应用
11.6.4 谱聚类算法
11.6.5 拉普拉斯矩阵的形式
11.6.6 应用研究举例
11.6.7 拓展研究
11.6.8 小结
11.7 聚类有效性
11.7.1 引言
11.7.2 统计检验
11.7.3 缺失类结构
11.7.4 各聚类的有效性
11.7.5 分级聚类
11.7.6 各单聚类的有效性
11.7.7 划分
11.7.8 相关准则
11.7.9 选择聚类个数
11.8 应用研究
11.9 总结和讨论
11.10建议
11.11提示及参考文献
习题
第12章 复杂网络
12.1 引言
12.1.1 特征
12.1.2 属性
12.1.3 问题阐述
12.1.4 描述性特征
12.1.5 概要
12.2 网络的数学描述
12.2.1 图矩阵
12.2.2 连通性
12.2.3 距离测度
12.2.4 加权网络
12.2.5 中心测度
12.2.6 随机图
12.3 社区发现
12.3.1 聚类方法
12.3.2 GirvanNewman算法
12.3.3 模块化方法
12.3.4 局部模块化
12.3.5 小集团过滤
12.3.6 应用研究举例
12.3.7 拓展研究
12.3.8 小结
12.4 链路预测
12.4.1 链路预测方法
12.4.2 应用研究举例
12.4.3 拓展研究
12.5 应用研究
12.6 总结和讨论
12.7 建议
12.8 提示及参考文献
习题
第13章 其他论题
13.1 模型选择
13.1.1 相互独立的训练集与测试集
13.1.2 交叉验证
13.1.3 贝叶斯观点
13.1.4 Akaike信息准则
13.1.5 最短描述长度
13.2 缺值数据
13.3 离群值检测和鲁棒方法
13.4 连续变量与离散变量的混合
13.5 结构风险最小化和VapnikChervonenkis维数
13.5.1 期望风险边界
13.5.2 VapnikChervonenkis维数
参考文献