前辅文
 第1章 引论
  1.1 深度学习概念的引出
   1.1.1 人类的学习
   1.1.2 什么是机器学习？
   1.1.3 什么是深度学习？
  1.2 深度学习的发展历史
  1.3 深度学习与人工智能
   1.3.1 什么是人工智能？
   1.3.2 人工智能的发展历程
   1.3.3 人工智能的三大学派
   1.3.4 深度学习技术手段在人工智能应用中的优势
  1.4 为什么要深度学习？
   1.4.1 人工智能已经进入深度学习时代
   1.4.2 深度学习技术促进了人工智能与其他学科、领域的交叉和融合
  1.5 本书后续内容安排
  1.6 本章小结
  思考题
  参考文献
 第2章 机器学习概述
  2.1 深度学习的硬件计算环境
   2.1.1 深度学习中的重要芯片：GPU
   2.1.2 深度学习为什么需要GPU芯片
   2.1.3 GPU 芯片发展历程
   2.1.4 深度学习GPU 环境的搭建
  2.2 深度学习的软件计算环境
   2.2.1 基于MindSpore 的深度学习框架及其安装
   2.2.2 基于ModelArts 的深度学习云服务计算环境
  2.3 数据集
   2.3.1 数据集的数学表示：以鸢尾花数据集为例
   2.3.2 人工标注的一致性分析
   2.3.3 数据集的拆分问题
   2.3.4 K 折交叉验证
   2.3.5 基于网格搜索与K 折交叉验证相结合来调整超参数
  2.4 机器学习方法的分类
   2.4.1 按样本标签的情况分类
   2.4.2 有监督学习中的判别模型和生成模型
  2.5 半监督学习
   2.5.1 简单自训练学习
   2.5.2 标准协同训练学习
   2.5.3 tri-training 协同训练学习
  2.6 主动学习
  2.7 元学习
   2.7.1 什么是元学习
   2.7.2 MAML：与模型无关的元学习
  2.8 排序学习
   2.8.1 排序学习及其方法
   2.8.2 排序结果的评价方法
  2.9 本章小结
  思考题
  参考文献
 第3章 特征工程
  3.1 什么是特征工程？
  3.2 自然语言处理中的自动分词、词性标注及句法分析
   3.2.1 自动分词
   3.2.2 词性标注与句法分析
  3.3 向量空间模型及文本相似度计算
  3.4 相似度计算
   3.4.1 文档之间的欧式距离和余弦相似度
   3.4.2 TF-IDF 词条权重计算
  3.5 特征值的缩放及归一化
   3.5.1 特征值的缩放
   3.5.2 特征值的归一化
  3.6 特征选择
   3.6.1 方差选择法
   3.6.2 皮尔森相关系数法
   3.6.3 基于随机森林的特征选择法
   3.6.4 递归特征消除法
  3.7 特征降维与升维
   3.7.1 特征降维
   3.7.2 特征升维
  3.8 本章小结
  思考题
  参考文献
 第4章 分类及回归问题
  4.1 分类与回归问题概述
  4.2 分类性能度量方法
   4.2.1 准确率
   4.2.2 精确率和召回率
   4.2.3 ROC 值
  4.3 支持向量机
   4.3.1 什么是支持向量机？
   4.3.2 完全线性可分情况下的支持向量机
   4.3.3 不完全线性可分情况下的支持向量机
   4.3.4 非线性可分情况下的支持向量机
  4.4 朴素贝叶斯分类器
   4.4.1 多项式贝叶斯分类器
   4.4.2 伯努利贝叶斯分类器
   4.4.3 高斯贝叶斯分类器
  4.5 回归问题性能度量方法
  4.6 线性回归
   4.6.1 什么是线性回归
   4.6.2 线性回归的目标函数
   4.6.3 基于梯度下降的线性回归模型参数求解方法
  4.7 多项式回归
  4.8 过拟合与损失函数的正则化
   4.8.1 向量范数和矩阵范数
   4.8.2 线性回归损失函数的正则化及梯度更新方法
   4.8.3 岭回归克服过拟合现象的示例
  4.9 本章小结
  思考题
  参考文献
 第5章 聚类问题
  5.1 什么是聚类？
  5.2 聚类的评价度量指标
   5.2.1 纯度
   5.2.2 兰德指数
   5.2.3 调整兰德指数
   5.2.4 聚类的精确率、召回率和F 1 值
   5.2.5 基于互信息的评价方法
   5.2.6 调整互信息与归一化互信息
   5.2.7 轮廓系数
   5.2.8 同质性与完整性
  5.3 常见的聚类方法
   5.3.1 K 均值聚类算法及其变体
   5.3.2 亲和力传播聚类算法
   5.3.3 层次聚合聚类算法
   5.3.4 DBSCAN 密度聚类
   5.3.5 均值偏移聚类算法
   5.3.6 自组织映射网络聚类
  5.4 本章小结
  思考题
  参考文献
 第6章 神经网络的优化
  6.1 信息论中的熵
  6.2 模型优化中的目标函数
  6.3 模型优化中常用的经验损失函数
  6.4 用梯度下降法求解目标函数的极值
  6.5 梯度下降法的学习率
   6.5.1 动量梯度下降法
   6.5.2 Nesterov 加速梯度（NAG）法
   6.5.3 自适应梯度（AdaGrad）算法
   6.5.4 均方根传播（RMSProp）
   6.5.5 自适应动量优化（Adam）
  6.6 激活函数
   6.6.1 Sigmoid 函数
   6.6.2 Tanh 函数
   6.6.3 ReLU 函数
   6.6.4 Leaky ReLU 函数
   6.6.5 ELU 函数
  6.7 梯度消失和梯度爆炸问题
   6.7.1 梯度消失和梯度爆炸发生的原因
   6.7.2 梯度消失和梯度爆炸问题的解决方法
  6.8 欠拟合、过拟合及其应对方法
  6.9 本章小结
  思考题
  参考文献
 第7章 感知机模型与多层感知机
  7.1 感知机模型简介
  7.2 感知机的表达能力：模拟逻辑电路
   7.2.1 感知机可以模拟与门电路
   7.2.2 感知机可以模拟与非门电路
   7.2.3 感知机可以模拟或门电路
   7.2.4 感知机无法实现异或门
   7.2.5 可以利用多层感知机实现异或门
  7.3 感知机模型的学习策略
   7.3.1 感知机学习模型的目标函数
   7.3.2 基于随机梯度下降的感知机模型方法
  7.4 多层感知机与反向传播算法
   7.4.1 多层感知机的正向传播
   7.4.2 多层感知机的反向传播算法
  7.5 本章小结
  思考题
  参考文献
 第8章 建模序列数据的神经网络
  8.1 循环神经网络
   8.1.1 循环神经网络简介
   8.1.2 常见的序列处理任务类型
   8.1.3 基本循环神经网络结构及其计算过程
  8.2 长短期记忆网络
   8.2.1 标准循环神经网络难以应对长期依赖
   8.2.2 长短期记忆网络的基本原理
   8.2.3 LSTM 模型的整体框架及计算过程
  8.3 长短期记忆网络的变体
   8.3.1 LSTM 的变体1：窥孔连接
   8.3.2 LSTM 的变体2：耦合遗忘和输入单元
   8.3.3 LSTM 的变体3：门控循环单元GRU
  8.4 深层双向循环神经网络
  8.5 注意力机制
  8.6 机器翻译模型Transformer
   8.6.1 Transformer 简介
   8.6.2 Transformer 与RNN 的对比
   8.6.3 Transformer 的微观结构
   8.6.4 Transformer 输入的嵌入构成
   8.6.5 Transformer 的自注意力机制
   8.6.6 多头自注意力机制
   8.6.7 残差连接、层的归一化以及前馈神经网络层
   8.6.8 Transformer 的解码器
  8.7 递归神经网络
   8.7.1 情感分析及传统求解方法
   8.7.2 标准递归神经网络及其变体
  8.8 本章小结
  思考题
  参考文献
 第9章 卷积神经网络
  9.1 卷积神经网络概述
   9.1.1 什么是卷积？
   9.1.2 卷积处理图像的一个例子
   9.1.3 什么是卷积神经网络？
   9.1.4 卷积神经网络的常见模型
  9.2 LeNet-5
  9.3 AlexNet
   9.3.1 AlexNet 的结构
   9.3.2 AlexNet 的特点
   9.3.3 ReLU 函数的后处理：局部响应归一化
  9.4 VGGNet 卷积神经网络
   9.4.1 VGGNet 的结构
   9.4.2 VGGNet 的特点
  9.5 GoogLeNet 卷积神经网络
   9.5.1 GoogLeNet 的特点
   9.5.2 GoogLeNet 中的基础卷积块：InceptionCNN
   9.5.3 基于基础卷积块构建的GoogLeNet 网络结构
  9.6 残差神经网络
   9.6.1 神经网络层数过多可能会带来的问题
   9.6.2 残差网络的结构特点
  9.7 利用卷积神经网络进行文本分类
  9.8 本章小结
  思考题
  参考文献
 第10章 生成式神经网络
  10.1 生成式神经网络概述
  10.2 自编码器
   10.2.1 什么是自编码器
   10.2.2 自编码器的编码解码过程及目标函数
   10.2.3 堆栈自编码器
   10.2.4 用自编码器得到新特征
   10.2.5 基于自编码器的图像聚类可视化
  10.3 变分自编码器
   10.3.1 什么是变分自编码器？
   10.3.2 变分自编码器的参数优化方法
   10.3.3 条件变分自编码器
   10.3.4 使用变分自编码器/ 条件变分自编码器生成新样本
  10.4 生成对抗网络
   10.4.1 生成对抗网络的基本原理
   10.4.2 生成对抗网络的目标函数
   10.4.3 生成对抗网络的训练算法
  10.5 条件生成对抗网络
  10.6 深度卷积生成对抗网络DCGAN
  10.7 pix2pix
  10.8 CycleGAN
  10.9 生成对抗网络生成图像的评价指标：IS 和FID
  10.10 本章小结
  思考题
  参考文献
 第11章 预训练模型
  11.1 什么是预训练
   11.1.1 预训练与迁移学习
   11.1.2 计算机视觉领域的预训练
   11.1.3 自然语言处理领域的预训练
  11.2 语言模型与预训练
   11.2.1 什么是语言模型
   11.2.2 语言模型的实现方法之一：N-gram 语言模型
   11.2.3 语言模型的实现方法之二：神经网络语言模型（NNLM）
   11.2.4 什么是词嵌入
   11.2.5 Word2vec 之CBOW 和Skip-gram
   11.2.6 Word2vec 的优化策略之一：Hierarchical Softmax
   11.2.7 Word2vec 的优化策略之二：负采样
  11.3 上下文词嵌入
   11.3.1 静态词嵌入与上下文词嵌入
   11.3.2 预训练模型一：CoVe 模型
   11.3.3 预训练模型二：交叉视角预训练模型CVT
   11.3.4 预训练模型三：OpenAI GPT模型
   11.3.5 预训练模型四：BERT 模型
  11.4 本章小结
  思考题
  参考文献
 第12章 图神经网络
  12.1 什么是图神经网络？
   12.1.1 图神经网络主要用于非欧几里得结构的图类型数据
   12.1.2 图神经网络研究的关键：图嵌入技术
   12.1.3 图神经网络的应用领域及常用数据集
  12.2 DeepWalk 模型
   12.2.1 DeepWalk 的基本原理
   12.2.2 DeepWalk 中的随机游走
  12.3 LINE 模型
   12.3.1 LINE 模型的基本原理
   12.3.2 一阶相似度的定义及其优化
   12.3.3 二阶相似度的定义及其优化
  12.4 node2vec 模型
   12.4.1 node2vec 的节点序列采样策略
   12.4.2 node2vec 模型的特征学习方法
  12.5 图卷积神经网络
   12.5.1 与图卷积神经网络相关的图论知识
   12.5.2 如何在图类型数据中借鉴传统卷积神经网络的思想
   12.5.3 图卷积神经网络的基本原理
  12.6 图注意力网络
   12.6.1 图注意力网络与图卷积神经网络相比的特点
   12.6.2 图注意力网络的图注意力层
  12.7 GraphSAGE 图神经网络
   12.7.1 GraphSAGE 的基本原理
   12.7.2 GraphSAGE 的正向传播过程
   12.7.3 GraphSAGE 中参数的学习
  12.8 本章小结
  思考题
  参考文献
 第13章 从强化学习到深度强化学习
  13.1 强化学习的引入：一个简单实例
  13.2 强化学习的要素
  13.3 强化学习问题的简化：马尔可夫决策过程与贝尔曼方程
  13.4 序贯决策问题与强化学习
  13.5 强化学习中如何使用蒙特卡罗法求解序贯决策问题
   13.5.1 什么是蒙特卡罗法
   13.5.2 基于蒙特卡罗法求解序贯决策问题的具体方法：策略评估
   13.5.3 蒙特卡罗法求解序贯决策问题的算法流程
  13.6 强化学习中如何基于时序差分法求解序贯决策问题
   13.6.1 时序差分在线控制算法SARSA
   13.6.2 时序差分离线控制算法Q-learning
   13.6.3 Q-learning 方法寻找最优路径
   13.6.4 Q-learning 和SARSA 的对比
  13.7 价值函数的近似表示
  13.8 深度强化学习
   13.8.1 NIPS DQN
   13.8.2 Nature DQN
   13.8.3 DQN 应用实例——Flappy Bird
  13.9 Double DQN（DDQN）
  13.10 基于深度强化学习的AI 围棋模型AlphaGo Zero
   13.10.1 AlphaGo Zero 模型整体结构及基本原理
   13.10.2 AlphaGo Zero 的MCTS 搜索过程
   13.10.3 AlphaGo Zero 中的神经网络
  13.11 本章小结
  思考题
  参考文献
 附录 深度学习典型实践示例
  附录1 三种典型的深度学习框架及在虚拟环境下的安装方法
  附录2 基于LSTM 的情感分类实践示例
  附录3 基于Transformer 的机器翻译实践示例
  附录4 使用BERT 网络实现智能写诗示例
  附录5 基于CycleGAN 实现图像生成示例
  附录6 线性回归模型示例
  附录7 基于LeNet-5 的手写数字识别实践示例
 参考文献