计算机科学家如何构建更好的矩阵

原创 Quanta Magazine zzllrr小乐

《量子杂志》每周都会阐释推动现代研究发展的重要理念之一。本周，计算机科学专栏作家Ben Brubaker将为你解读计算机科学家为何寻求更好的方法来计算矩阵乘法。

图源：量子杂志Quanta Magazine

作者：Ben Brubaker（量子杂志计算机科学专栏作家）2025-6-30

译者：zzllrr小乐（数学科普公众号）2025-7-1

1925年夏天，年轻的物理学家维尔纳·海森堡（Werner Heisenberg）前往偏远的黑尔戈兰岛，寻求缓解季节性过敏症状。10天后，他带着一个方程回来，这个方程现在是量子物理学理论的核心。

虽然该方程正确地预测了实验结果，但只有一个问题：它涉及纵数字表的奇怪规则。海森堡本人不知道该如何看待数学，直到他的导师马克斯·玻恩（Max Born）将这些表格识别为当时晦涩难懂的数学对象，称为矩阵（matrices）。

一百年后，矩阵绝非晦涩难懂。它们在科学和技术方面有无数的应用，从基础物理学到计算机图形学再到人工智能。寻找更好的矩阵乘法算法是计算机科学中最具标志性的问题之一。

矩阵来自称为线性代数（linear algebra）的数学分支，它研究涉及多个变量的简单方程。线性代数中的中心数学对象（称为向量 vector）是描述系统特定性质的数字列表：对象的空间方向、量子粒子的状态，甚至是单词的含义 https://www.quantamagazine.org/how-embeddings-encode-what-words-mean-sort-of-20240918/ 。

矩阵是二维数字表，表示将一个向量转换为另一个向量的过程。在最简单的情况下，矩阵可能表示旋转对象的特定方式。但矩阵也可以表示更奇特的变换。在物理学中，它们描述了量子态如何随时间演变。在计算机科学中，它们控制着ChatGPT等AI模型在给定输入时如何生成输出。

如果有两个连续的变换，则需要将相应的矩阵相乘，这涉及到以特定组合将它们的元素相加和相乘。但是，当应用于大型矩阵（如AI模型中使用的矩阵）时，这种标准方法会变得非常缓慢。研究人员的目标是设计更好的矩阵乘法算法，也就是使用更高效的步骤序列获得与标准方法相同的答案的过程。50多年来，对更好算法的追求一直是一个丰富的研究脉络。

新增的和值得注意的内容

矩阵乘法算法的研究始于1969年，当时数学家Volker Strassen发现了一种计算2×2矩阵乘积的方法，该方法只需将其元素的特定组合做7次乘法，而标准程序则为8次。

这听起来可能并不多，但是当你反复将大矩阵切成较小的块并每次都应用Strassen算法时，乘法步骤就会减少一个。Strassen的发现开启了长达数十年的寻找最佳算法的序幕，用于非常大的矩阵相乘。

2021年，Kevin Hartnett调查了矩阵乘法算法的历史 https://www.quantamagazine.org/mathematicians-inch-closer-to-matrix-multiplication-goal-20210323/ 和最新发展。去年，Steve Nadis报告了一种新方法 https://www.quantamagazine.org/new-breakthrough-brings-matrix-multiplication-closer-to-ideal-20240307/ ，该方法产生了十多年来最大的改进。

一些研究人员采用不同的方法来搜索矩阵乘法算法。他们不是试图为大型矩阵寻找最佳算法，而是寻求在较小比例下工作的更好方法，例如4×4或5×5矩阵。2022年，Google DeepMind的研究人员使用一种全新的定性方法为这项工作做出了重大贡献：

他们训练了一个名为AlphaTensor的AI系统来自动搜索矩阵乘法算法，并发现了在一些特殊情况下效果更好的算法。在我作为计算机科学记者的第一个故事 https://www.quantamagazine.org/ai-reveals-new-possibilities-in-matrix-multiplication-20221123/ 中报道了这个结果。量子杂志还制作了一段视频，探讨了AlphaTensor的搜索工作原理 https://www.youtube.com/watch?v=fDAPJ7rvcUw 。

归根结底，研究人员研究矩阵乘法，因为它是解决线性代数问题的成熟方法。但这并不是唯一的方法。

2021年，Hartnett报告说，在某些情况下，利用随机性力量 https://www.linkedin.com/pulse/counterintuitive-power-randomness-quanta-magazine-riaoe/ 的替代方法 https://www.quantamagazine.org/new-algorithm-breaks-speed-limit-for-solving-linear-equations-20210308/ 比最著名的矩阵乘法算法略快。

这可能是一个小的改进，但它说明了矩阵乘法算法的研究仍然充满惊喜。正如计算机科学家周任飞在接受Nadis采访时所说，“人们仍处于理解这个古老问题的早期阶段。”

计算机科学家周任飞

网络上的报道

来自YouTube频道3Blue1Brown的这个视频系列 https://www.3blue1brown.com/topics/linear-algebra 是对线性代数和矩阵的精彩介绍。

数学教育家Trefor Bazett发布了一个很好的视频， https://www.youtube.com/watch?v=sZxjuT1kUd0 介绍了Strassen的矩阵乘法算法。

5月，IEEE Spectrum报告了Google DeepMind推出的一款名为AlphaEvolve的新型通用AI系统 https://spectrum.ieee.org/deepmind-alphaevolve ，该系统发现了比AlphaTensor更好的矩阵乘法算法。

参考资料

https://mailchi.mp/quantamagazine.org/the-mystery-of-the-muon-4866944

https://www.quantamagazine.org/how-embeddings-encode-what-words-mean-sort-of-20240918/

https://www.quantamagazine.org/mathematicians-inch-closer-to-matrix-multiplication-goal-20210323/

https://www.quantamagazine.org/new-breakthrough-brings-matrix-multiplication-closer-to-ideal-20240307/

https://www.quantamagazine.org/ai-reveals-new-possibilities-in-matrix-multiplication-20221123/

https://www.youtube.com/watch?v=fDAPJ7rvcUw

https://www.linkedin.com/pulse/counterintuitive-power-randomness-quanta-magazine-riaoe/

https://www.quantamagazine.org/new-algorithm-breaks-speed-limit-for-solving-linear-equations-20210308/

https://www.3blue1brown.com/topics/linear-algebra

https://www.youtube.com/watch?v=sZxjuT1kUd0

https://spectrum.ieee.org/deepmind-alphaevolve