译者序前言第1章引言1 2预测学习问题1 2 1回归1 2 2分类1 3特征设计1 4数值优化1 5小结第一部分基本工具及概念第2章数值优化基础2 1微积分定义的优性2 1 1泰勒级数逼近2 1 2优性的一阶条件2 1 3凸性的便利2 2优化数值方法2 2 1概览2 2 2停止条件2 2 3梯度下降2 2 4牛顿法2 3小结2 4习题第3章回归3 1线性回归基础3 1 1符号和建模3 1 2用于线性回归的小二乘代价函数3 1 3小二乘代价函数的小化3 1 4所学模型的效力3 1 5预测新输入数据的值3 2知识驱动的回归特征设计3 3非线性回归和l2正则化3 3 1逻辑回归3 3 2非凸代价函数和l2正则化3 4小结3 5习题第4章分类4 1感知机代价函数4 1 1基本感知机模型4 1 2softmax代价函数4 1 3间隔感知机4 1 4间隔感知机的可微近似4 1 5所学分类器的精度4 1 6预测新输入数据的标签4 1 7哪个代价函数会产生好的结果4 1 8感知机和计数代价的关联4 2逻辑回归视角下的softmax代价4 2 1阶梯函数和分类4 2 2凸逻辑回归4 3支持向量机视角下的间隔感知机4 3 1寻找大间隔超平面4 3 2硬间隔支持向量机问题4 3 3软间隔支持向量机问题4 3 4支持向量机和逻辑回归4 4多分类4 4 1一对多的多分类4 4 2多分类softmax分类4 4 3所学多分类器的精度4 4 4哪种多分类方法表现好4 5面向分类的知识驱动特征设计4 6面向真实数据类型的直方图特征4 6 1文本数据的直方图特征4 6 2图像数据的直方图特征4 6 3音频数据的直方图特征4 7小结4 8习题第二部分完全数据驱动的机器学习工具第5章回归的自动特征设计5 1理想回归场景中的自动特征设计5 1 1向量逼近5 1 2从向量到连续函数5 1 3连续函数逼近5 1 4连续函数逼近的常见基5 1 5获取权重5 1 6神经网络的图表示5 2真实回归场景中的自动特征设计5 2 1离散化的连续函数逼近5 2 2真实回归场景5 3回归交叉验证5 3 1诊断过拟合与欠拟合问题5 3 2留出交叉验证5 3 3留出交叉验证的计算5 3 4k折交叉验证5 4哪个基好5 4 1理解数据背后的现象5 4 2实践方面的考虑5 4 3什么时候可任意选择基5 5小结5 6习题5 7关于连续函数逼近的注释第6章分类中的自动特征设计6 1理想分类场景中的自动特征设计6 1 1分段连续函数逼近6 1 2指示函数的形式化定义6 1 3指示函数逼近6 1 4获取权重6 2真实分类场景中的自动特征设计6 2 1离散化的指示函数逼近6 2 2真实的分类场景6 2 3分类器精度和边界定义6 3多分类6 3 1一对多的多分类6 3 2多分类softmax分类6 4分类交叉验证6 4 1留出交叉验证6 4 2留出交叉验证的计算6 4 3k折交叉验证6 4 4一对多多分类的k折交叉验证6 5哪个基好6 6小结6 7习题第7章核、反向传播和正则化交叉验证7 1固定特征核7 1 1线性代数基本定理7 1 2核化代价函数7 1 3核化的价值7 1 4核的例子7 1 5核作为相似矩阵7 2反向传播算法7 2 1计算两层网络代价函数的梯度7 2 2计算三层神经网络的梯度7 2 3动量梯度下降7 3l2正则化交叉验证7 3 1l2正则化和交叉验证7 3 2回归的k折正则化交叉验证7 3 3分类的正则化交叉验证7 4小结7 5更多的核计算7 5 1核化不同的代价函数7 5 2傅里叶核——标量输入7 5 3傅里叶核——向量输入第三部分大规模数据机器学习方法第8章高级梯度算法8 1梯度下降法的固定步长规则8 1 1梯度下降法和简单的二次代理8 1 2有界曲率函数和优保守步长规则8 1 3如何使用保守固定步长规则8 2梯度下降的自适应步长规则8 2 1回溯线性搜索的自适应步长规则8 2 2如何使用自适应步长规则8 3随机梯度下降8 3 1梯度分解8 3 2随机梯度下降迭代8 3 3随机梯度下降的价值8 3 4随机梯度下降的步长规则8 3 5在实践中如何使用随机梯度下降法8 4梯度下降方案的收敛性证明8 4 1利普希茨常数固定步长梯度下降的收敛性8 4 2回溯线性搜索梯度下降的收敛性8 4 3随机梯度法的收敛性8 4 4面向凸函数的固定步长梯度下降的收敛速度8 5计算利普希茨常数8 6小结8 7习题第9章降维技术9 1数据的降维技术9 1 1随机子采样9 1 2K均值聚类9 1 3K均值问题的优化9 2主成分分析9 3推荐系统9 3 1矩阵填充模型9 3 2矩阵填充模型的优化9 4小结9 5习题第四部分附录附录A基本的向量和矩阵运算附录B向量微积分基础附录C基本的矩阵分解及伪逆附录D凸几何参考文献索引