译者序

前言

致谢

第1章引言

11自然语言处理的挑战

12神经网络和深度学习

13自然语言处理中的深度学习

14本书的覆盖面和组织结构

15本书未覆盖的内容

16术语

17数学符号

注释

第一部分有监督分类与前馈神经网络

第2章学习基础与线性模型

21有监督学习和参数化函数

22训练集、测试集和验证集

23线性模型

231二分类

232对数线性二分类

233多分类

24表示

25独热和稠密向量表示

26对数线性多分类

27训练和最优化

271损失函数

272正则化

28基于梯度的最优化

281随机梯度下降

282实例

283其他训练方法

第3章从线性模型到多层感知器

31线性模型的局限性：异或问题

32非线性输入转换

33核方法

34可训练的映射函数

第4章前馈神经网络

41一个关于大脑的比喻

42数学表示

43表达能力

44常见的非线性函数

45损失函数

46正则化与丢弃法

47相似和距离层

48嵌入层

第5章神经网络训练

51计算图的抽象概念

511前向计算

512反向计算（导数、反向传播）

513软件

514实现流程

515网络构成

52实践经验

521优化算法的选择

522初始化

523重启与集成

524梯度消失与梯度爆炸

525饱和神经元与死神经元

526随机打乱

527学习率

528minibatch

第二部分处理自然语言数据

第6章文本特征构造

61NLP分类问题中的拓扑结构

62NLP问题中的特征

621直接可观测特征

622可推断的语言学特征

623核心特征与组合特征

624n元组特征

625分布特征

第7章NLP特征的案例分析

71文本分类：语言识别

72文本分类：主题分类

73文本分类：作者归属

74上下文中的单词：词性标注

75上下文中的单词：命名实体识别

76上下文中单词的语言特征：介词词义消歧

77上下文中单词的关系：弧分解分析

第8章从文本特征到输入

81编码分类特征

811独热编码

812稠密编码（特征嵌入）

813稠密向量与独热表示

82组合稠密向量

821基于窗口的特征

822可变特征数目：连续词袋

83独热和稠密向量间的关系

84杂项

841距离与位置特征

842补齐、未登录词和词丢弃

843特征组合

844向量共享

845维度

846嵌入的词表

847网络的输出

85例子：词性标注

86例子：弧分解分析

第9章语言模型

91语言模型任务

92语言模型评估：困惑度

93语言模型的传统方法

931延伸阅读

932传统语言模型的限制

94神经语言模型

95使用语言模型进行生成

96副产品：词的表示

第10章预训练的词表示

101随机初始化

102有监督的特定任务的预训练

103无监督的预训练

104词嵌入算法

1041分布式假设和词表示

1042从神经语言模型到分布式表示

1043词语联系

1044其他算法

105上下文的选择

1051窗口方法

1052句子、段落或文档

1053句法窗口

1054多语种

1055基于字符级别和子词的表示

106处理多字单元和字变形

107分布式方法的限制

第11章使用词嵌入

111词向量的获取

112词的相似度

113词聚类

114寻找相似词

115同中选异

116短文档相似度

117词的类比

118改装和映射

119实用性和陷阱

第12章案例分析:一种用于句子意义推理的前馈结构

121自然语言推理与 SNLI数据集

122文本相似网络

第三部分特殊的结构

第13章n元语法探测器：卷积神经网络

131基础卷积池化

1311文本上的一维卷积

1312向量池化

1313变体

132其他选择：特征哈希

133层次化卷积

第14章循环神经网络：序列和栈建模

141RNN抽象描述

142RNN的训练

143RNN常见使用模式

1431接收器

1432编码器

1433传感器

144双向RNN

145堆叠RNN

146用于表示栈的RNN

147文献阅读的注意事项

第15章实际的循环神经网络结构

151作为RNN的CBOW

152简单RNN

153门结构

1531长短期记忆网络

1532门限循环单元

154其他变体

155应用到RNN的丢弃机制

第16章通过循环网络建模

161接收器

1611情感分类器

1612主谓一致语法检查

162作为特征提取器的RNN

1621词性标注

1622RNNCNN文本分类

1623弧分解依存句法分析

第17章条件生成

171RNN生成器

172条件生成（编码器解码器）

1721序列到序列模型

1722应用

1723其他条件上下文

173无监督的句子相似性

174结合注意力机制的条件生成

1741计算复杂性

1742可解释性

175自然语言处理中基于注意力机制的模型

1751机器翻译

1752形态屈折

1753句法分析

第四部分其他主题

第18章用递归神经网络对树建模

181形式化定义

182扩展和变体

183递归神经网络的训练

184一种简单的替代——线性化树

185前景

第19章结构化输出预测

191基于搜索的结构化预测

1911基于线性模型的结构化预测

1912非线性结构化预测

1913概率目标函数（CRF）

1914近似搜索

1915重排序

1916参考阅读

192贪心结构化预测

193条件生成与结构化输出预测

194实例

1941基于搜索的结构化预测：一阶依存句法分析

1942基于NeuralCRF的命名实体识别

1943基于柱搜索的NERCRF近似

第20章级联、多任务与半监督学习

201模型级联

202多任务学习

2021多任务设置下的训练

2022选择性共享

2023作为多任务学习的词嵌入预训练

2024条件生成中的多任务学习

2025作为正则的多任务学习

2026注意事项

203半监督学习

204实例

2041眼动预测与句子压缩

2042弧标注与句法分析

2043介词词义消歧与介词翻译预测

2044条件生成：多语言机器翻译、句法分析以及图像描述生成

205前景

第21章结论

211我们学到了什么

212未来的挑战

参考文献