8
月
在社区成长 8 月
LEVEL 90
100 XP
数学在现代机器学习中的作用是什么？
过去十年见证了机器学习进展方式的转变。涉及精心设计和数学原理架构的研究只能带来微小的改进，而计算密集型和工程优先的努力可扩展到更大的训练集和模型参数计数，从而产生现有理论无法预测的显着新功能。数学和统计学曾经是机器学习研究的主要指南，现在却很难提供对最新突破的即时洞察。这并不是机器学习领域的经验经验进展第一次超过更多理论驱动的方法，但最近进展的巨大程度迫使我们再次吞下“惨痛教训”的苦果[1]。这种转变引发了人们对数学在机器学习研究中的作用减弱的猜测。很明显，数学将不得不与更广泛的视角共享舞台（例如，随着人工智能越来越深入地融入社会，生物学拥有对不可简化的复杂系统得出结论的丰富经验，或者社会科学）。机器学习日益跨学科的性质应该受到所有研究人员的积极发展的欢迎。
然而，我们认为数学仍然像以前一样重要。它的作用只是在不断演变。例如，虽然数学可能曾经主要为模型性能提供理论保证，但它可能很快就会更普遍地用于对模型训练和性能中观察到的经验现象的事后解释——这一作用类似于它在物理学中发挥的作用。同样，虽然数学直觉可能曾经在粒度级别指导手工功能或架构细节的设计，但其用途可能会转向更高级别的设计选择，例如将架构与底层任务结构或数据对称性相匹配。
这些都不是全新的。数学在机器学习中始终具有多种用途。毕竟，平移等变卷积神经网络已经有40 多年的历史了，它体现了上述架构匹配数据对称性的思想。正在发生变化的是数学将产生最大影响的问题类型及其最常见的应用方式。
向规模化转变的一个有趣的结果是，它扩大了适用于机器学习的数学领域的范围。拓扑、代数和几何等“纯”数学领域现在正在加入概率论、分析和线性代数等更传统的应用领域。这些纯粹的领域在上个世纪不断发展和发展，能够处理高水平的抽象和复杂性，帮助数学家发现乍一看似乎超出人类直觉的空间、代数对象和组合过程。能力有望解决现代深度学习中的许多最大挑战。
在本文中，我们将探讨当前研究的几个领域，这些领域展示了数学指导机器学习发现和理解过程的持久能力。
从针刺中描述大象
假设给你一个70 亿参数、50 层的神经网络，并要求你分析它；你会怎样开始？对抗鲁棒性以及其他在许多现实应用中至关重要的“二级统计数据”。除此之外，所有证据都表明，要对深度学习建立完整的科学理解，我们需要冒险超越评估分数。事实上，正如不可能用一个单一的数值（例如智商、身高）来捕捉人类的所有维度一样，试图仅通过一项甚至多项统计数据来理解模型从根本上是有限的。理解人类和理解模型之间的一个区别是，我们可以轻松访问所有模型参数以及模型中发生的所有单独计算。事实上，通过提取模型的隐藏激活，我们可以直接追踪模型将原始输入转换为预测的过程。不幸的是，隐藏激活的世界远不如简单模型性能统计的世界好客。与初始输入一样，隐藏激活通常是高维的，但与输入数据不同，它们不是以人类可以理解的形式构建的。如果我们冒险进入更高的维度，我们可以尝试直接通过权重来理解模型。在这里，在模型权重的空间中，我们可以自由地从一个起点向数百万到数十亿个正交方向移动。我们如何开始理解这些世界？
有一个著名的寓言，三个盲人各自感觉到大象的不同部位。每个人对动物的描述完全不同，只反映了那个人感受到的身体部位。我们认为，与至少可以用手触摸大象身体某一部位的盲人不同，当前分析模型隐藏激活和权重的方法类似于试图通过一根大头针的触摸来描述大象。
表征我们无法可视化的东西的工具
尽管人们普遍认为数学家只专注于解决问题，但许多研究数学首先涉及理解要提出的正确问题。这是很自然的，因为数学家研究的许多对象与日常经验相去甚远，以至于我们对我们希望真正理解的东西的直觉非常有限。通常需要付出巨大的努力来构建工具，使我们能够利用现有的直觉并获得易于处理的结果，从而增强我们的理解。旋转的概念提供了这种情况的一个很好的例子，因为它们在2 维和3 维中非常熟悉，但随着它们的维度变得越来越大，日常直觉变得越来越难以理解。在后一种情况下，纯数学提供的不同视角对于获得更全面的视角来了解这些实际情况变得越来越重要。那些了解一点线性代数的人会记得，旋转可以推广到更高的维度，并且在$n$ 维度中，它们可以通过行列式为$1$ 的$n \times n$ 正交矩阵来实现。这些集合通常写为$SO
$ 并称为特殊正交群。假设我们想了解所有$n$ 维旋转的集合。有许多互补的方法可以做到这一点。我们可以探索$SO$ 中所有矩阵的线性代数结构，或者根据每个元素作为作用于$\mathbb{R}^n$ 的运算符的行为来研究$SO$。或者，我们也可以尝试使用我们与生俱来的空间直觉来理解$SO
$。事实证明，这是数学中一个强有力的观点。在任何维度$n$ 中，$SO$ 都是称为流形的几何对象。非常粗略地讲，一个局部看起来像欧几里得空间的空间，但当我们缩小时，它可能会出现扭曲、孔洞和其他非欧几里得特征。事实上，无论精确与否，我们都会感觉到两个旋转是否彼此“接近”。例如，读者可能会同意$90^\circ$ 和$91^\circ$ 的$2$ 维旋转“感觉”比$90^\circ$ 和$180^\circ$ 的旋转更接近。当$n=2$时，可以证明所有旋转的集合在几何上“等价”于$1$维圆。因此，我们对圆的了解可以转化为$SO(2)$。当我们想要研究$n 3$ 的$n$ 维旋转几何时会发生什么？如果$n=512$（例如潜在空间），这相当于研究$512^2$ 维空间中的流形。我们的视觉直觉在这里似乎毫无用处，因为尚不清楚如何在2 维和3 维中熟悉的概念如何在512^2$ 维度中使用。数百年来，数学家一直面临着理解不可可视化事物的问题。一种策略是找到熟悉的空间概念的概括，从$2$ 和$3$ 维度到与我们的直觉相关的$n$ 维度。
这种方法已被用于更好地理解和表征有关深度学习模型的模型权重、隐藏激活和输入数据空间的实验观察结果。我们在这里提供此类工具和应用程序的体验:
内在维度: 维度是一个熟悉的概念，不仅来自我们可以轻松访问的空间维度（1、2 和3 维）的经验，而且还来自日常系统中更非正式的“自由度”概念，例如驾驶汽车（前进/后退、转弯）
