Hugging Face Blog·· 2023-05-15精选AI 评分64
RWKV 架构接入 Hugging Face transformers 库：兼具 RNN 与 transformer 优势
Introducing RWKV - An RNN with the advantages of a transformer
AI 导读
RWKV 是一种结合 RNN 与 transformer 优势的新架构，已通过 PR 正式集成到 Hugging Face transformers 库。该架构训练时可并行（类似线性化 GPT），推理时仅需矩阵向量运算、内存不随上下文增长；已有训练上下文长度 8192 的模型与 ctx1024 模型速度和内存相当。
推荐理由
RWKV 结合 RNN 与 transformer 两种架构的优势，官方介绍了其原理、可用模型规模及在 transformers 库中的实际用法。
来源：Hugging Face Blog · huggingface.co