特征向量
除了特征值，作者还预测了特征向量的正交矩阵。
在5×5矩阵上，使用P10和P1000编码的模型在5%容差的情况下，实现了97.0%和94.0%的准确率。FP15 型号的性能较弱，准确率为51.6%，但非对称型号，带有6层FP15编码器和1层P1000解码器，在5%容差下的准确率为93.5%，在1%容差下的准确率为67.5%。P1000模型可以预测6×6矩阵的特征向量，预测准确率为81.5%。
逆矩阵
5×5矩阵的求逆比之前任务难度更大，P10模型的准确率为 73.6%，P1000模型的准确率为80.4（5%容差，6层编码器和1层解码器）。
注意力头数量增加到 10 和 12 对准确率基本没影响，但可以加快训练速度：在大约2.5亿个示例中，8头模型的训练准确率达到75%。非对称模型实现了最高的准确率（90.0%）。
奇异值分解
虽然这项任务与特征分解有关，但事实证明它的学习难度更大：使用P10或P1000编码的多达6层Transformer可以预测4×4矩阵的奇异值分解。单奇异值（容差为5%和1%）的准确率较高，分别为100%和86.7%，完全分解的准确率分别为98.9%和75.3%。
此外，域外泛化和再训练中，作者为了训练模型，生成独立同分布 (iid) 系数的随机n×n矩阵，从[−A, A]上的均匀分布中采样。
Transformer如果想要解决线性代数问题，了解在 Wigner 矩阵上训练模型在不同特征值分布的矩阵上执行方法十分重要。
研究人员创建了 10,000 个矩阵的测试集，其分布与训练集不同。然后，生成不同特征值分布的矩阵的测试集：正特征值（特征值替换为其绝对值的 Wigner 矩阵），以及根据均匀、高斯或拉普拉斯定律的特征值分布，标准偏差为
和
。
为了提高分布外的准确性，作者在具有不同特征值分布的数据集上训练新模型，并在之前创建的测试集上评估它们。
