本文共 991 字，大约阅读时间需要 3 分钟。
近年来，Transformer模型在自然语言处理和计算机视觉领域引发了一场技术革命。然而，尽管其性能强大，Transformer的内部机制仍然存在许多未解之谜。特别是如何让普通用户更好地理解模型的决策过程，是一个亟待解决的问题。为了应对这一挑战，FAIR Lab和以色列特拉维夫大学的研究团队在CVPR2021上发表了一篇名为《Transformer Interpretability Beyond Attention Visualization》的论文，提出了一个全新的可视化方法。
传统的Transformer可视化方法主要局限于展示单一注意力层的相关性得分。这种方法虽然简单，却无法充分揭示模型的语义理解和特征学习过程。研究者通过深度泰勒分解计算局部相关性，并将相关性信息逐层传播。这意味着我们不仅可以看到局部关注点，还能理解不同层次间的特征传递关系。
Transformer模型的复杂性在于其残差连接和多头自注意力机制。作者提出了适用于正负归因的相对传播规则，确保非线性激活函数对特征提取的多样性不产生负面影响。这种方法能够更准确地捕捉变量之间的关系。
研究者特别关注Transformer中涉及两个张量的混合操作，即矩阵乘法和残差连接。通过深度泰勒展开，可以计算这些混合操作的相关性传播。这一发现为我们了解网络内部信息流提供了新的视角。
在BERT模型上实施研究方法，实验结果表明该可视化方法能够准确识别出特定类别的语义特征。与传统方法相比，不仅节省了计算资源，还提高了可解释性。
基于ViT预训练模型的实验同样证明了方法的有效性。复杂图像中的多个对象都能得到准确的可视化结果，颠覆了解决方式单一性问题。
为促进研究和应用，作者已经将工作开源。开发者可以通过GitHub获取相关代码和参考文献，进一步研究和改进该方法。
本文为Transformer模型提供了一种更具普适性的可视化方法。它的意义不仅在于技术创新，更在于为用户提供了理解模型行为的可视化工具，推动AI技术的应用落地。
读者可以通过关注CVer公众号或加入相关交流群，与该研究的作者和开发者进行更加深入的讨论和交流。
转载地址：http://llwsz.baihongyu.com/