无监督学习在深度神经网络的复兴上起到了关键的、历史性的作用，它使研究者首次可以训练不含诸如卷积或者循环这类特殊结构的深度监督网络。我们将这一过程称为 无监督预训练（unsupervised pretraining），或者更精确地，贪心逐层无监督预训练（greedy layer-wise unsupervised pretraining）。此过程是一个任务（无监督学习，尝试获取输入分布的形状）的表示如何有助于另一个任务（具有相同输入域的监督学习）的典型示例。贪心逐层无监督预训练依赖于单层表示学习算法，例如 RBM、单层自编码器、稀疏编码模型或其他学习潜在表示的模型。每一层使用无监督学习预训练，将前一层的输出作为输入，输出数据的新的表示。这个新的表示的分布（或者是和其他变量比如要预测类别的关系）有可能是更简单的。如算法1所示的正式表述。

算法1 贪心逐层无监督预训练的协定

给定如下：无监督特征学习算法 L，L 使用训练集样本并返回编码器或特征函数 f。原始输入数据是 X，每行一个样本，并且 f(1)(X) 是第一阶段编码器关于 X 的输出。在执行精调的情况下，我们使用学习者 T ，并使用初始函数 f，输入样本 X（以及在监督精调情况下关联的目标 Y），并返回细调好函数。阶段数为 m。

算法1

基于无监督标准的贪心逐层训练过程，早已被用来规避监督问题中深度神经网络难以联合训练多层的问题。这种方法至少可以追溯神经认知机 (Fukushima, 1975)。深度学习的复兴始于 2006 年，源于发现这种贪心学习过程能够为多层联合训练过程找到一个好的初始值，甚至可以成功训练全连接的结构 (Hinton et al., 2006b; Hintonand Salakhutdinov, 2006; Hinton, 2006; Bengio et al., 2007d; Ranzato et al., 2007a)。在此发现之前，只有深度卷积网络或深度循环网络这类特殊结构的深度网络被认为是有可能训练的。现在我们知道训练具有全连接的深度结构时，不再需要使用贪心逐层无监督预训练，但无监督预训练是第一个成功的方法。贪心逐层无监督预训练被称为 贪心（greedy）的，是因为它是一个 贪心算法（greedy algorithm），这意味着它独立地优化解决方案的每一个部分，每一步解决一个部分，而不是联合优化所有部分。它被称为 逐层的（layer-wise），是因为这些独立的解决方案是网络层。具体地，贪心逐层无监督预训练每次处理一层网络，训练第 k层时保持前面的网络层不变。特别地，低层网络（最先训练的）不会在引入高层网络后进行调整。它被称为 无监督（unsupervised）的，是因为每一层用无监督表示学习算法训练。然而，它也被称为 预训练（pretraining），是因为它只是在联合训练算法 精调（fine-tune）所有层之前的第一步。在监督学习任务中，它可以被看作是正则化项（在一些实验中，预训练不能降低训练误差，但能降低测试误差）和参数初始化的一种形式。

通常而言，“预训练’’ 不仅单指预训练阶段，也指结合预训练和监督学习的两阶段学习过程。监督学习阶段可能会使用预训练阶段得到的顶层特征训练一个简单分类器，或者可能会对预训练阶段得到的整个网络进行监督精调。不管采用什么类型的监督学习算法和模型，在大多数情况下，整个训练过程几乎是相同的。虽然无监督学习算法的选择将明显影响到细节，但是大多数无监督预训练应用都遵循这一基本方法。贪心逐层无监督预训练也能用作其他无监督学习算法的初始化，比如深度自编码器 (Hinton and Salakhutdinov, 2006) 和具有很多潜变量层的概率模型。这些模型包括深度信念网络 (Hinton et al., 2006b) 和深度玻尔兹曼机 (Salakhutdinov andHinton, 2009a)。我们也可以进行贪心逐层监督预训练。这是建立在训练浅层模型比深度模型更容易的前提下，而该前提似乎在一些情况下已被证实 (Erhan et al., 2010)。