第一部分 机器学习基础__eol____eol__第1章 数学预备知识 2__eol__1.1 度量空间 2__eol__1.2 向量空间 3__eol__1.3 巴拿赫空间与希尔伯特空间 4__eol__1.4 概率空间 7__eol__1.5 矩阵代数 8__eol__1.5.1 Kronecker积 10__eol__1.5.2 矩阵与向量微积分 11__eol__1.6 凸优化基础 12__eol__1.6.1 基本概念 12__eol__1.6.2 凸集与凸函数 14__eol__1.6.3 次微分 15__eol__1.6.4 凸共轭 16__eol__1.6.5 拉格朗日对偶公式 18__eol__1.7 习题 20__eol__第2章 线性与核分类器 22__eol__2.1 引言 22__eol__2.2 硬间隔线性分类器 23__eol__2.2.1 可分离情况的最大间隔__eol__ 分类器 23__eol__2.2.2 对偶公式 25__eol__2.2.3 KKT条件与支持向量 26__eol__2.3 软间隔线性分类器 27__eol__2.4 采用核SVM的非线性__eol__ 分类器 29__eol__2.4.1 特征空间中的线性__eol__ 分类器 29__eol__2.4.2 核技巧 30__eol__2.5 图像分类的经典方法 31__eol__2.6 习题 32__eol__第3章 线性回归、逻辑回归与__eol__ 核回归 34__eol__3.1 引言 34__eol__3.2 线性回归 34__eol__3.3 逻辑回归 36__eol__3.3.1 对数概率与线性回归 36__eol__3.3.2 使用逻辑回归进行__eol__ 多分类 37__eol__3.4 岭回归 38__eol__3.5 核回归 39__eol__3.6 回归中的偏差-方差权衡 41__eol__3.7 习题 43__eol__第4章 再生核希尔伯特空间与__eol__ 表示定理 44__eol__4.1 引言 44__eol__4.2 再生核希尔伯特空间 45__eol__4.2.1 特征映射和核 46__eol__4.2.2 再生核希尔伯特空间的__eol__ 定义 47__eol__4.3 表示定理 49__eol__4.4 表示定理的应用 50__eol__4.4.1 核岭回归 50__eol__4.4.2 核SVM 51__eol__4.5 核机器的优缺点 53__eol__4.6 习题 53__eol__第二部分 深度学习的构成要素__eol____eol__第5章 生物神经网络 56__eol__5.1 引言 56__eol__5.2 神经元 56__eol__5.2.1 神经元解剖 56__eol__5.2.2 信号传输机制 57__eol__5.2.3 突触可塑性 58__eol__5.3 生物神经网络 59__eol__5.3.1 视觉系统 60__eol__5.3.2 Hubel-Wiesel模型 60__eol__5.3.3 Jennifer Aniston细胞 61__eol__5.4 习题 62__eol__第6章 人工神经网络与反向传播 64__eol__6.1 引言 64__eol__6.2 人工神经网络 64__eol__6.2.1 符号约定 64__eol__6.2.2 单个神经元建模 65__eol__6.2.3 多层前馈神经网络 67__eol__6.3 人工神经网络训练 68__eol__6.3.1 问题描述 68__eol__6.3.2 优化器 69__eol__6.4 反向传播算法 72__eol__6.4.1 反向传播算法的推导 72__eol__6.4.2 反向传播算法的几何__eol__ 解释 75__eol__6.4.3 反向传播算法的变分__eol__ 解释 75__eol__6.4.4 局部变分公式 77__eol__6.5 习题 78__eol__第7章 卷积神经网络 80__eol__7.1 引言 80__eol__7.2 现代卷积神经网络发展__eol__ 简史 81__eol__7.2.1 AlexNet 81__eol__7.2.2 GoogLeNet 81__eol__7.2.3 VGGNet 83__eol__7.2.4 ResNet 83__eol__7.2.5 DenseNet 84__eol__7.2.6 U-Net 84__eol__7.3 卷积神经网络的基础构件 85__eol__7.3.1 卷积 85__eol__7.3.2 池化与反池化 87__eol__7.3.3 跳跃连接 89__eol__7.4 训练卷积神经网络 90__eol__7.4.1 损失函数 90__eol__7.4.2 数据划分 90__eol__7.4.3 正则化 91__eol__7.5 卷积神经网络可视化 92__eol__7.6 卷积神经网络的应用 94__eol__7.7 习题 95__eol__第8章 图神经网络 98__eol__8.1 引言 98__eol__8.2 数学基础 100__eol__8.2.1 定义 100__eol__8.2.2 图同构 100__eol__8.2.3 图着色 101__eol__8.3 相关工作 102__eol__8.3.1 词嵌入 102__eol__8.3.2 损失函数 105__eol__8.4 图嵌入 105__eol__8.4.1 矩阵分解方法 106__eol__8.4.2 随机游走方法 106__eol__8.4.3 神经网络方法 107__eol__8.5 WL同构测试与图神经__eol__ 网络 109__eol__8.5.1 WL同构测试 109__eol__8.5.2 图神经网络作为WL__eol__ 测试 110__eol__8.6 总结和展望 111__eol__8.7 习题 111__eol__第9章 归一化和注意力 113__eol__9.1 引言 113__eol__9.2 归一化 115__eol__9.2.1 批量归一化 115__eol__9.2.2 逐层和实例归一化 116__eol__9.2.3 自适应实例归一化 117__eol__9.2.4 白化与着色变换 119__eol__9.3 注意力 120__eol__9.3.1 代谢型受体：生物学__eol__ 类比 120__eol__9.3.2 空间注意力的数学建模 121__eol__9.3.3 通道注意力 123__eol__9.4 应用 124__eol__9.4.1 StyleGAN 124__eol__9.4.2 自注意力GAN 125__eol__9.4.3 注意力GAN 126__eol__9.4.4 图注意力网络 127__eol__9.4.5 Transformer 128__eol__9.4.6 BERT 130__eol__9.4.7 GPT 133__eol__9.4.8 视觉Transformer 135__eol__9.5 归一化与注意力的数学__eol__ 分析 136__eol__9.6 习题 138__eol____eol__第三部分 深度学习的高级主题__eol____eol__第10章 深度神经网络几何学 141__eol__10.1 引言 141__eol__10.2 实例探究 142__eol__10.2.1 单隐层感知器 142__eol__10.2.2 框架表示 143__eol__10.3 卷积小波框架 146__eol__10.3.1 卷积与Hankel矩阵 146__eol__10.3.2 卷积小波框架展开 148__eol__10.3.3 与卷积神经网络的__eol__ 联系 148__eol__10.3.4 深度卷积小波框架 150__eol__10.4 卷积神经网络的几何学 152__eol__10.4.1 非线性的作用 152__eol__10.4.2 非线性是归纳学习的__eol__ 关键 153__eol__10.4.3 表达能力 153__eol__10.4.4 特征的几何意义 154__eol__10.4.5 自编码器的几何理解 159__eol__10.4.6 分类器的几何理解 161__eol__10.5 尚待解决的问题 161__eol__10.6 习题 163__eol__第11章 深度学习优化 164__eol__11.1 引言 164__eol__11.2 问题描述 164__eol__11.3 Polyak-?ojasiewicz型收敛性__eol__ 分析 165__eol__11.4 Lyapunov型收敛性分析 169__eol__11.4.1 神经正切核 171__eol__11.4.2 无限宽极限的神经正__eol__ 切核 172