Hugging Face Blog·· 2022-08-02AI 评分25
Nyströmformer:用 Nyström 方法以线性时间和内存近似自注意力
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
AI 导读
Nyströmformer 借助 Nyström 矩阵近似方法,将标准自注意力的 O(n²) 时间与内存复杂度降至 O(n)。由于无法直接对 softmax 矩阵采样,该方法从 queries 和 keys 中以 segment means 构建地标点来近似 softmax 矩阵,并配合 1D depthwise convolution 的 skip connection。
来源:Hugging Face Blog · huggingface.co