OpenAI 发布基于 Transformer 与无监督预训练的语言理解系统

OpenAI 宣布以可扩展、任务无关的系统在多项多样化语言任务上取得 SOTA 结果，并开放发布该系统。方法结合 Transformer 与无监督预训练两个已有思路，团队认为结果证明了监督学习搭配无监督预训练的有效性，希望推动在更大更多样数据集上的进一步研究。