OpenAI News·· 2019-04-23AI 评分45
OpenAI 发布 Sparse Transformer，序列建模能力提升 30 倍
Generative modeling with sparse transformers
AI 导读
OpenAI 开发出 Sparse Transformer，一种在文本、图像和声音等序列预测任务上创造新纪录的深度神经网络。它通过对注意力机制的算法改进，可从比以往长 30 倍的序列中提取模式。
来源：OpenAI News · openai.com