word2vec 究竟学到了什么？Berkeley AI Research 给出定量理论

Berkeley AI Research 提出理论证明，在从接近零的小初始化等温和近似条件下，word2vec 的学习问题可归约为无加权最小二乘矩阵分解，最终学到的表示等价于对目标矩阵 M* 做 PCA。