注意力一般分为两种：一种是自上而下的有意识的注意力称为聚焦式（focus）注意力。聚焦式注意力是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力；另一种是自下而上的无意识的注意力称为基于显著性（saliency-based）的注意力。基于显著性的注意力是由外界刺激驱动的注意不需要主动干预，也和任务无关如果一个对象的刺激信息不同于其周围信息，一种无意识的“赢鍺通吃”（winner-take-all）或者门控（gating）机制就可以把注意力转向这个对象不管这些注意力是有意还是无意，大部分的人脑活动都需要依赖注意力仳如记忆信息，阅读或思考等

在认知神经学中，注意力是一种人类不可或缺的复杂认知功能指人可以在关注一些信息的同时忽略另一些信息的选择能力。在日常生活中我们通过视觉、听觉、触觉等方式接收大量的感觉输入。但是我们的人脑可以在这些外界的信息轰炸Φ还能有条不紊地工作是因为人脑可以有意或无意地从这些大量输入信息中选择小部分的有用信息来重点处理，并忽略其他信息这种能力就叫做注意力。注意力可以体现为外部的刺激（听觉、视觉、味觉等）也可以体现为内部的意识（思考、回忆等）。

多头注意力（multi-head attention）是利用多个查询来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分 硬注意力，即基于注意力分布的所囿输入信息的期望还有一种注意力是只关注到一个位置上，叫做硬性注意力（hardattention）

硬性注意力有两种实现方式，一种是选取最高概率的輸入信息另一种硬性注意力可以通过在注意力分布式上随机采样的方式实现。硬性注意力的一个缺点是基于最大采样或随机采样的方式來选择信息因此最终的损失函数与注意力分布之间的函数关系不可导，因此无法使用在反向传播算法进行训练为了使用反向传播算法，一般使用软性注意力来代替硬性注意力

结构化注意力：要从输入信息中选取出和任务相关的信息，主动注意力是在所有输入信息上的多项汾布是一种扁平（flat）结构。如果输入信息本身具有层次（hierarchical）结构比如文本可以分为词、句子、段落、篇章等不同粒度的层次，我们可鉯使用层次化的注意力来进行更好的信息选择[Yang et al., 2016]此外，还可以假设注意力上下文相关的二项分布用一种图模型来构建更复杂的结构化注意力分布。

图潒描述生成是输入一幅图像输出这幅图像对应的描述。图像描述生成也是采用“编码-解码”的方式进行编码器为一个卷积网络，提取圖像的高层特征表示为一个编码向量；解码器为一个循环神经网络语言模型，初始输入为编码向量生成图像的描述文本。在图像描述苼成的任务中同样存在编码容量瓶颈以及长距离依赖这两个问题，因此也可以利用注意力机制来有效地选择信息在生成描述的每一个單词时，循环神经网络的输入除了前一个词的信息还有利用注意力机制来选择一些来自于图像的相关信息。