目 录 第１章　深度学习导论 1 1.1 从人工智能到深度学习 2 1.1.1 从感知机到深度学习 2 1.1.2 深度学习的巨大影响 6 1.2　从学习到机器学习 7 1.2.1 什么是学习 7 1.2.2　什么是机器学习 8 1.2.3　机器学习的4个象限 9 1.3　深度学习的内涵 10 1.3.1 什么是深度学习 10 1.3.2　生活中的深度学习 12 1.3.3　有没有浅度学习 13 1.4　本章小结 14 1.5　思考与习题 14 参考资料 14 第2章　神经网络学习 16 2.1　人工神经网络的定义 17 2.2 神经网络的原子单元——感知机 18 2.2.1 感知机的形式化描述 18 2.2.2 感知机名称的由来 19 2.2.3 感性认识感知机 20 2.2.4　感知机是如何学习的 22 2.2.5　感知机训练法则 24 2.2.6　感知机中的激活函数 26 2.2.7　感知机的几何意义 26 2.2.8　实战：基于Python的感知机实现 27 2.2.9　感知机的表征能力 31 2.3　多层前馈网络 32 2.3.1 多层网络解决“异或”问题 32 2.3.2 多层前馈神经网络 34 2.3.3　机器学习本质与通用近似定理 35 2.3.4 神经网络结构的设计 37 2.4 神经网络中的损失函数 38 2.5　常用的激活函数 40 2.5.1 Sigmoid函数 40 2.5.2 Tanh函数 41 2.5.3 ReLU函数 42 2.6 实战：利用sklearn搭建多层神经网络 43 2.6.1 sklearn简介 44 2.6.2 sklearn的安装 44 2.6.3 sklearn搭建多层神经网络实现红酒分类 45 2.7　本章小结 57 2.8　思考与习题 58 参考资料 58 第3章　初识TensorFlow 60 3.1　TensorFlow概述 61 3.2 TensorFlow特征 62 3.3　深度学习框架比较 63 3.3.1　Theano 63 3.3.2　Keras 64 3.3.3　Caffe 65 3.3.4　PyTorch 66 3.4 利用Anaconda安装TensorFlow 67 3.4.1　Anaconda的下载与安装 67 3.4.2　验证Python是否安装成功 70 3.4.3　利用conda安装TensorFlow 71 3.5　运行“Hello World!”版的TensorFlow程序 72 3.5.1 利用TensorFlow 2 编写的第二个程序 74 3.5.2 TensorFlow 2 的新特性 75 3.6 本章小结 79 3.7 思考与提高 79 参考资料 79 第4章　TensorFlow 基础语法 80 4.1　TensorFlow的张量思维 81 4.1.1 张量的阶 81 4.1.2 张量的尺寸 83 4.2　TensorFlow中的数据类型 86 4.2.1　Python基本数据类型与TensorFlow的关系 86 4.2.2 数值类型 87 4.2.3 字符串类型 89 4.2.4 布尔类型 91 4.2.5 张量类型转换 92 4.2.6　TensorFlow中的张量与NumPy数组 93 4.3 TensorFlow中的常量与变量 97 4.3.1 constant常量 97 4.3.2 Variable变量 98 4.4 常用张量生成方法 100 4.4.1 生成全0的张量 100 4.4.2 生成全1的张量 102 4.4.3 生成全为给定值的张量 103 4.4.4 生成已知分布的随机数张量 103 4.4.5 创建特定张量序列 104 4.5 张量的索引和切片 105 4.5.1 索引 105 4.5.2 通过切片访问 107 4.6　张量的维度伸缩与交换 111 4.6.1 张量中的轴方向 111 4.6.2 张量维度的增加与删除 111 4.7 张量的合并、分割与复制 112 4.7.1 张量合并 113 4.7.2 张量分割 115 4.8 TensorFlow中的计算 118 4.8.1 按元素计算 118 4.8.2 张量的按轴计算 119 4.9　张量的广播机制 122 4.9.1 广播的定义 122 4.9.2 广播的操作与适用规则 122 4.10 张量在神经网络中的典型应用 124 4.10.1 标量 124 4.10.2 向量 126 4.10.3 矩阵 126 4.10.4 三维张量 129 4.10.5 四维张量 130 4.10.6 五维张量 130 4.11　本章小结 131 4.12　思考与练习 132 参考资料 132 第5章　BP算法与优化方法 133 5.1　为何需要优化函数 134 5.1.1 优化的意义 134 5.1.2 优化函数的流程 134 5.2　基于梯度的优化算法 136 5.2.1 什么是梯度 136 5.2.2 梯度的代码实现 138 5.2.3　梯度递减 142 5.2.4 批量梯度递减法 145 5.2.5 随机梯度递减法 146 5.2.6 小批量梯度递减法 148 5.2.7　实战：基于梯度递减的线性回归算法 148 5.2.8 基于梯度递减优化算法的挑战 151 5.3 BP算法 152 5.3.1　BP算法的发展历程 152 5.3.2　正向传播信息 153 5.3.3　求导中的链式法则 156 5.3.4　误差反向传播 158 5.3.5　实战：利用BP算法解决异或问题 160 5.4 TensorFlow中的其他优化算法 163 5.5 本章小结 166 5.6 思考与习题 166 参考资料 167 第6章　Keras模块的使用 168 6.1 Keras与tf.keras模块 169 6.2 数据的加载 170 6.2.1 TensorFlow的经典数据集 170 6.2.2 Dataset对象 171 6.3 Dataset的变换 173 6.3.1 随机打散 173 6.3.2 设置批大小 174 6.3.3 数据映射 174 6.3.4 循环训练 175 6.4　实战：基于梯度递减的手写数字识别MNIST 176 6.4.1　MNIST数据集简介 176 6.4.2　MNIST数据的获取 178 6.4.3　手写识别任务的分类模型 180 6.4.4　Softmax回归模型 182 6.4.5　手写数字识别MNIST中的Softmax回归模型 184 6.4.6　TensorFlow中搭建模型的三种方式 185 6.4.7 常用的序贯模型 186 6.4.8 利用tf.keras进行模型搭建 188 6.4.9 利用梯度递减算法构建模型 191 6.4.10　损失函数的交叉熵模型 193 6.4.11 tf.keras中的模型编译 196 6.4.12　模型的训练与预测 198 6.4.13 训练模型的保存与读取 201 6.5　本章小结 205 6.6　思考与练习 206 参考资料 206 第7章　卷积神经网络 207