Hugging Face 详解基于 Transformer 的编码器-解码器模型

Hugging Face 发布长文教程，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列任务。文章从 RNN 编码器-解码器模型的历史讲起，分解编码器的双向自注意力与解码器的单向自注意力和交叉注意力机制，并以 MarianMT 模型代码演示 .generate() 自回归推理，涵盖 T5、Bart、Pegasus 等模型背景，但不涉及训练方法。