综述 近年来深度学习的重要研究成果附PDF
W¨ollmer 等人 2010 提出了双向 LSTMBLSTM 的循环网络与动态贝叶斯网络 DBN 一起用于上下文敏感关键字检测。
Variational Bi LSTMShabanian 等人 2017 提出了变分双向 LSTM（Variational Bi LSTM），它是双向 LSTM 体系结构的变体。Variational Bi LSTM 使用变分自编码器 VAE 在 LSTM 之间创建一个信息交换通道，以学习更好的表征。谷歌神经机器翻译Wu 等人 2016 提出了名为谷歌神经机器翻译 GNMT 的自动翻译系统，该系统结合了编码器网络、解码器网络和注意力网络，遵循共同的序列对序列 sequence to sequence 的学习框架。
Fader NetworkLample 等人 2017 提出了 Fader 网络，这是一种新型的编码器 解码器架构，通过改变属性值来生成真实的输入图像变化。
超网络Ha 等人 2016 提出的超网络（Hyper Networks）为其他神经网络生成权值，如静态超网络卷积网络、用于循环网络的动态超网络。
Deutsch2018 使用超网络生成神经网络。
Highway NetworksSrivastava 等人 2015 提出了高速路网络（Highway Networks），通过使用门控单元来学习管理信息。跨多个层次的信息流称为信息高速路。
Recurrent Highway NetworksZilly 等人 2017 提出了循环高速路网络 Recurrent Highway Networks，RHN，它扩展了长短期记忆 LSTM 架构。RHN 在周期性过渡中使用了 Highway 层。Highway LSTM RNNZhang 等人 2016 提出了高速路长短期记忆 high Long short Memory, HLSTM RNN，它在相邻层的内存单元之间扩展了具有封闭方向连接 即 Highway 的深度 LSTM 网络。
长期循环 CNNDonahue 等人 2014 提出了长期循环卷积网络 LRCN，它使用 CNN 进行输入，然后使用 LSTM 进行递归序列建模并生成预测。
深度神经 SVMZhang 等人 2015 提出了深度神经 SVMDNSVM，它以支持向量机 Support Vector Machine, SVM 作为深度神经网络 Deep Neural Network, DNN 分类的顶层。
卷积残差记忆网络Moniz 和 Pal2016 提出了卷积残差记忆网络，将记忆机制并入卷积神经网络 CNN。它用一个长短期记忆机制来增强卷积残差网络。
分形网络Larsson 等人 2016 提出分形网络即 FractalNet 作为残差网络的替代方案。他们声称可以训练超深度的神经网络而不需要残差学习。分形是简单扩展规则生成的重复架构。
WaveNetvan den Oord 等人 2016 提出了用于产生原始音频的深度神经网络 WaveNet。WaveNet 由一堆卷积层和 softmax 分布层组成，用于输出。
Rethage 等人 2017 提出了一个 WaveNet 模型用于语音去噪。
指针网络Vinyals 等人 2017 提出了指针网络 Ptr Nets，通过使用一种称为"指针"的 softmax 概率分布来解决表征变量字典的问题。
深度生成模型在本节中，我们将简要讨论其他深度架构，它们使用与深度神经网络类似的多个抽象层和表示层，也称为深度生成模型 deep generate Models, DGM。Bengio2009 解释了深层架构，例如 Boltzmann machine BM 和 Restricted Boltzmann Machines RBM 等及其变体。
Goodfellow 等人 2016 详细解释了深度生成模型，如受限和非受限的玻尔兹曼机及其变种、深度玻尔兹曼机、深度信念网络 DBN、定向生成网络和生成随机网络等。
Maal??e 等人（2016）提出了辅助的深层生成模型（Auxiliary Deep Generative Models），在这些模型中，他们扩展了具有辅助变量的深层生成模型。辅助变量利用随机层和跳过连接生成变分分布。
Rezende 等人 2016 开发了一种深度生成模型的单次泛化。
玻尔兹曼机玻尔兹曼机是学习任意概率分布的连接主义方法，使用最大似然原则进行学习。
受限玻尔兹曼机受限玻尔兹曼机 Restricted Boltzmann Machines, RBM 是马尔可夫随机场的一种特殊类型，包含一层随机隐藏单元，即潜变量和一层可观测变量。
Hinton 和 Salakhutdinov2011 提出了一种利用受限玻尔兹曼机 RBM 进行文档处理的深度生成模型。
深度信念网络深度信念网络 Deep Belief Networks, DBN 是具有多个潜在二元或真实变量层的生成模型。
Ranzato 等人 2011 利用深度信念网络 deep Belief Network, DBN 建立了深度生成模型进行图像识别。
深度朗伯网络Tang 等人 2012 提出了深度朗伯网络 Deep Lambertian Networks，DLN，它是一个多层次的生成模型，其中潜在的变量是反照率、表面法线和光源。DLNis 是朗伯反射率与高斯受限玻尔兹曼机和深度信念网络的结合。
生成对抗网络Goodfellow 等人 2014 提出了生成对抗网络 generate Adversarial Nets, GAN，用于通过对抗过程来评估生成模型。GAN 架构是由一个针对对手（即一个学习模型或数据分布的判别模型）的生成模型组成。Mao 等人 2016、Kim 等人 2017 对 GAN 提出了更多的改进。
Salimans 等人 2016 提出了几种训练 GANs 的方法。
拉普拉斯生成对抗网络Denton 等人 2015 提出了一种深度生成模型 DGM，叫做拉普拉斯生成对抗网络 LAPGAN，使用生成对抗网络 GAN 方法。该模型还在拉普拉斯金字塔框架中使用卷积网络。循环支持向量机Shi 等人 2016a 提出了循环支持向量机 RSVM，利用循环神经网络 RNN 从输入序列中提取特征，用标准支持向量机 SVM 进行序列级目标识别。
训练和优化技术在本节中，我们将简要概述一些主要的技术，用于正则化和优化深度神经网络 DNN。
DropoutSrivastava 等人 2014 提出 Dropout，以防止神经网络过拟合。Dropout 是一种神经网络模型平均正则化方法，通过增加噪声到其隐藏单元。在训练过程中，它会从神经网络中随机抽取出单元和连接。Dropout 可以用于像 RBM Srivastava et al.，2014 这样的图形模型中，也可以用于任何类型的神经网络。最近提出的一个关于 Dropout 的改进是 Fraternal Dropout，用于循环神经网络 RNN。
MaxoutGoodfellow 等人 2013 提出 Maxout，一种新的激活函数，用于 Dropout。Maxout 的输出是一组输入的最大值，有利于 Dropout 的模型平均。
ZoneoutKrueger 等人 2016 提出了循环神经网络 RNN 的正则化方法 Zoneout。Zoneout 在训练中随机使用噪音，类似于 Dropout，但保留了隐藏的单元而不是丢弃。
深度残差学习He 等人 2015 提出了深度残差学习框架，该框架被称为低训练误差的 ResNet。
批归一化Ioffe 和 Szegedy2015 提出了批归一化，通过减少内部协变量移位来加速深度神经网络训练的方法。Ioffe2017 提出批重归一化，扩展了以前的方法。
DistillationHinton 等人 2015 提出了将知识从高度正则化模型的集合 即神经网络 转化为压缩小模型的方法。
层归一化Ba 等人 2016 提出了层归一化，特别是针对 RNN 的深度神经网络加速训练，解决了批归一化的局限性。
深度学习框架有大量的开源库和框架可供深度学习使用。它们大多数是为 Python 编程语言构建的。如 Theano、Tensorflow、PyTorch、PyBrain、Caffe、Blocks and Fuel 、CuDNN、Honk、ChainerCV、PyLearn2、Chainer,、torch 等。
深度学习的应用在本节中，我们将简要地讨论一些最近在深度学习方面的杰出应用。自深度学习 DL 开始以来，DL 方法以监督、非监督、半监督或强化学习的形式被广泛应用于各个领域。从分类和检测任务开始，DL 应用正在迅速扩展到每一个领域。
例如：