离散时间自注意力动力学平衡点分类

1. 12:00
   arXiv eess.SY 系统与控制

   离散时间自注意力动力学的渐近分析

   论文研究将 Transformer 层索引视为时间索引得到的自注意力动力学，指出该系统天然离散却多被连续化处理，本文给出其平衡点的完整分类并研究单头与多头情形下的稳定性。结果显示两种情形下动力学的主要吸引子都是与 value 矩阵主特征向量对齐的共识平衡（多头情形对应权重矩阵），同时单头情形还存在其他局部渐近稳定的二分平衡；作者还通过真实 Transformer 的学到的权重矩阵验证了这一行为。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。