Overview

Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。

Method

整体架构

主要由输入部分（输入输出嵌入与位置编码）、多层编码器、多层解码器以及输出部分（输出线性层与Softmax）四大部分组成。

Transformer整体架构

输入部分

源文本嵌入层：将源文本中的词汇数字表示转换为向量表示，捕捉词汇间的关系。

位置编码器：为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息。

目标文本嵌入层（在解码器中使用）：将目标文本中的词汇数字表示转换为向量表示。

编码器部分

由N个编码器层堆叠而成。

每个编码器层由两个子层连接结构组成：第一个子层是一个多头自注意力子层，第二个子层是一个前馈全连接子层。每个子层后都接有一个规范化层和一个残差连接。

解码器部分

由N个解码器层堆叠而成。

每个解码器层由三个子层连接结构组成：第一个子层是一个带掩码的多头自注意力子层，第二个子层是一个多头注意力子层（编码器到解码器），第三个子层是一个前馈全连接子层。每个子层后都接有一个规范化层和一个残差连接。

输出部分

线性层：将解码器输出的向量转换为最s终的输出维度。

Softmax层：将线性层的输出转换为概率分布，以便进行最终的预测。

Encoder-Decoder（编码器-解码器）左边是N个编码器，右边是N个解码器，Transformer中的N为6。

Encoder-Decoder（编码器-解码器）

Self-Attention

随着模型处理输入序列的每个单词，自注意力会关注整个输入序列的所有单词，帮助模型对本单词更好地进行编码。在处理过程中，自注意力机制会将对所有相关单词的理解融入到我们正在处理的单词中。

Scaled Dot-Product Attention（缩放点积注意力）

上图是 Self-Attention 的结构，在计算的时候需要用到矩阵Q(查询),K(键值),V(值)。在实际中，Self-Attention 接收的是输入(单词的表示向量x组成的矩阵X) 或者上一个 Encoder block 的输出。而Q,K,V正是通过 Self-Attention 的输入进行线性变换得到的。

自注意力的计算

Q、K和V矩阵

Query矩阵（Q）：表示当前的关注点或信息需求，用于与Key矩阵进行匹配。

Key矩阵（K）：包含输入序列中各个位置的标识信息，用于被Query矩阵查询匹配。

Value矩阵（V）：存储了与Key矩阵相对应的实际值或信息内容，当Query与某个Key匹配时，相应的Value将被用来计算输出。

点积计算：

通过计算Query矩阵和Key矩阵之间的点积（即对应元素相乘后求和），来衡量Query与每个Key之间的相似度或匹配程度。

缩放因子

由于点积操作的结果可能非常大，尤其是在输入维度较高的情况下，这可能导致softmax函数在计算注意力权重时进入饱和区。为了避免这个问题，缩放点积注意力引入了一个缩放因子，通常是输入维度的平方根。点积结果除以这个缩放因子，可以使得softmax函数的输入保持在一个合理的范围内。

Softmax函数

将缩放后的点积结果输入到softmax函数中，计算每个Key相对于Query的注意力权重。Softmax函数将原始得分转换为概率分布，使得所有Key的注意力权重之和为1。

加权求和

使用计算出的注意力权重对Value矩阵进行加权求和，得到最终的输出。这个过程根据注意力权重的大小，将更多的关注放在与Query更匹配的Value上。

自注意力计算

Multi-Head Attention（多头注意力）

它允许模型同时关注来自不同位置的信息。通过分割原始的输入向量到多个头（head），每个头都能独立地学习不同的注意力权重，从而增强模型对输入序列中不同部分的关注能力。

Multi-Head Attention（多头注意力）

Encoder编码器

Transformer中的编码器部分一共6个相同的编码器层组成。每个编码器层都有两个子层，即多头自注意力层(Multi-Head Attention)和逐位置的前馈神经网络(Position-wise Feed-Forward Network)。在每个子层后面都有残差连接Add（图中的虚线）和层归一化LN操作，二者合起来称为Add&Norm操作。Add & Norm 层计算公式如下：

$ (X+(X))\(X+(X)) $

其中X表示 Multi-Head Attention 或者 Feed Forward 的输入，MultiHeadAttention(X) 和 FeedForward(X) 表示输出(输出与输入 X 维度是一样的，所以可以相加)。

Add的作用：加入残差块的目的是为了防止在网络的训练过程中发生退化的问题，退化的意思就是深度神经网络通过增加网络的层数，Loss逐渐减小，然后趋于稳定达到饱和，然后再继续增加网络层数，Loss反而增大。

Norm的作用：Layer Normalization(LN)是在同一个样本中不同神经元之间进行归一化，而BN是在同一个batch中不同样本之间的同一位置的神经元之间进行归一化。BN是对于相同的维度进行归一化，但是NLP中输入的都是词向量，一个300维的词向量，单独去分析它的每一维是没有意义地，在每一维上进行归一化也是适合地，因此这里选用的是LN。

全连接层作用：全连接层是一个两层的神经网络，先线性变换，然后ReLU非线性，再线性变换。这两层网络就是为了将输入的Z映射到更加高维的空间中然后通过非线性函数ReLU进行筛选，筛选完后再变回原来的维度。经过6个encoder后输入到decoder中。其计算公式如下：

Encoder（编码器）架构

Decoder解码器

Transformer中的解码器部分同样一共6个相同的解码器层组成。每个解码器层都有三个子层，掩蔽自注意力层(Masked Self-Attention)、Encoder-Decoder注意力层、逐位置的前馈神经网络。同样，在每个子层后面都有残差连接（图中的虚线）和层归一化（LayerNorm）操作，二者合起来称为Add&Norm操作。

Decoder（解码器）架构

Reference

Code

非官方

nlp-tutorial/5-1.Transformer at master · graykode/nlp-tutorial (github.com)

官方

huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. (github.com)

Explanation

李宏毅-史上最强transformer讲解

Transformer模型详解（图解最完整版） - 知乎 (zhihu.com)

一文看懂 Transformer！超级详解，小白入门必看！-CSDN博客

Transformer源码（带注释）-CSDN博客

jinxiaokuang

后端开发学习笔记

📘 笔记汇总

📎 参考资源

LeetCode算法笔记

📘 学习笔记

代码随想录

Hot100

📎 参考资源

示例文章

多模态学习链接

Awesome Multimodal😯

Paper

Model & Code

Reference

Theory

Transformer

Overview

Method

整体架构

输入部分

编码器部分

解码器部分

输出部分

Self-Attention

自注意力的计算

Multi-Head Attention（多头注意力）

Encoder编码器

Decoder解码器

Reference

Code

Explanation