离散时间自注意力动力学的渐近分析

论文研究将 Transformer 层索引视为时间索引得到的自注意力动力学，指出该系统天然离散却多被连续化处理，本文给出其平衡点的完整分类并研究单头与多头情形下的稳定性。结果显示两种情形下动力学的主要吸引子都是与 value 矩阵主特征向量对齐的共识平衡（多头情形对应权重矩阵），同时单头情形还存在其他局部渐近稳定的二分平衡；作者还通过真实 Transformer 的学到的权重矩阵验证了这一行为。