是当今所有大语言模型(GPT、BERT、LLaMA 等)的基石,单层:自注意力 + 交叉注意力 + FFN,残差连接 + LayerNorm,,残差连接 + LayerNorm,的静态方法,。
残差连接 + LayerNorm。
常用于 Decoder 的,专门生成因果(下三角)掩码, ,输出嵌入(右移)+ 位置编码,残差连接 + LayerNorm。
一次性并行处理整个序列, 激活为 relu/gelu + 至多传一个 mask + LayerNorm eps 一致。
残差连接 + LayerNorm。
