SPEX 与 ProxySPEX：如何大规模识别 LLM 的关键交互

Berkeley AI Research 提出可在大规模下识别关键交互的 SPEX 与 ProxySPEX 算法，通过消融实验解释 LLM 行为。SPEX 利用稀疏性和低度性将交互发现转化为稀疏恢复问题，规模较此前方法提升数个数量级；ProxySPEX 进一步利用层级结构，以约 10x 更少的消融达到与 SPEX 相当的性能。二者可用于特征归因、数据归因和模型组件归因。