诺贝尔物理学奖：Hopfield 和 Hinton 的 AI 如何改变我们的世界

如果您在观看最新的 AI 生成的视频时惊掉了下巴，您的银行余额被欺诈检测系统从犯罪分子手中挽救出来，或者您的一天因为能够在奔跑中口述短信而变得更加轻松，那么您要感谢许多科学家、数学家和工程师。

但是，有两个名字对使这些体验成为可能的深度学习技术做出了基础性贡献，他们是：普林斯顿大学物理学家约翰·霍普菲尔德和多伦多大学计算机科学家杰弗里·辛顿.

这两位研究人员是获得诺贝尔物理学奖2024 年 10 月 8 日，以表彰他们在人工神经网络领域的开创性工作。

尽管人工神经网络是以生物神经网络为模型的，但两位研究人员的工作都借鉴了统计物理学，因此获得了物理学奖。

神经元如何计算

人工神经网络起源于对活体大脑中生物神经元的研究。1943 年，神经生理学家沃伦·麦卡洛克 （Warren McCulloch） 和逻辑学家沃尔特·皮茨 （Walter Pitts） 提出了一种神经元工作原理的简单模型.

在 McCulloch-Pitts 模型中，神经元与其相邻的神经元相连，并且可以接收来自它们的信号。然后它可以将这些信号组合起来，向其他神经元发送信号。

但有一个转折点：它可以以不同的方式权衡来自不同邻居的信号。想象一下，您正在尝试决定是否购买一部新的畅销手机。您与您的朋友交谈并询问他们的建议。

一个简单的策略是收集所有朋友的推荐，并决定接受大多数人所说的任何内容。例如，您问三个朋友 Alice、Bob 和 Charlie，他们分别说 yay、yay 和 nay。这导致您决定购买这款手机，因为您有两个 yes 和一个 nay。

但是，您可能会更信任一些朋友，因为他们对技术小工具有深入的了解。因此，您可能决定更多地考虑他们的建议。

例如，如果 Charlie 知识渊博，您可能会数他的 nay 三次，现在您决定不买手机 – 两个 yes 和 3 个反对。

如果你不幸有一个在技术小工具问题上完全不信任的朋友，你甚至可以给他们一个负的权重。所以他们的 yay 算作 nay，他们的 nay 算作 yay。

一旦您自己决定新手机是否是一个不错的选择，其他朋友可以向您征求建议。

同样，在人工和生物神经网络中，神经元可以聚合来自邻居的信号，并向其他神经元发送信号。

此功能导致了一个关键区别：网络中是否存在循环？例如，如果我今天问 Alice、Bob 和 Charlie，明天 Alice 问我推荐，那么就会出现一个循环：从 Alice 到我，再从我回到 Alice。

如果神经元之间的连接没有循环，那么计算机科学家称它为前馈神经网络。前馈网络中的神经元可以分层排列。

第一层由 inputs 组成。第二层从第一层接收信号，依此类推。最后一层表示网络的输出。

但是，如果网络中存在一个循环，计算机科学家将其称为递归神经网络，并且神经元的排列可能比前馈神经网络更复杂。

Hopfield 网络

人工神经网络的最初灵感来自生物学，但很快其他领域开始影响它们的发展。这些课程包括逻辑、数学和物理。

物理学家约翰·霍普菲尔德 （John Hopfield） 使用物理学的思想来研究特定的递归神经网络的类型，现在称为 Hopfield 网络。特别是，他研究了它们的动态：随着时间的推移，网络会发生什么变化？

当信息通过社交网络传播时，这种动态也很重要。每个人都知道模因正在病毒式传播，回音室在在线社交网络中形成。这些都是集体现象，最终由网络中人们之间的简单信息交换产生。

霍普菲尔德是使用物理场中的模型，尤其是那些为研究磁学而开发的，以了解递归神经网络的动力学。他还表明，他们的动态可以给这样的神经网络一种记忆形式.

玻尔兹曼机和反向传播

在 1980 年代，Geoffrey Hinton、计算神经生物学家 Terrence Sejnowski 和其他人扩展了 Hopfield 的想法，创建了一类名为玻尔兹曼机，以 19 世纪物理学家的名字命名路德维希·玻尔兹曼.

顾名思义，这些模型的设计植根于玻尔兹曼开创的统计物理学。

与可以存储模式并纠正模式中的错误的 Hopfield 网络不同（就像拼写检查器一样），玻尔兹曼机器可以生成新模式，从而播下现代生成式 AI 革命的种子。

Hinton 也是 1980 年代发生的另一项突破的一部分：反向传播.如果你想让人工神经网络完成有趣的任务，你必须以某种方式为人工神经元之间的连接选择合适的权重。

反向传播是一种关键算法，可以根据网络在训练数据集上的性能来选择权重。然而，训练多层人工神经网络仍然具有挑战性。

在 2000 年代，Hinton 和他的同事们巧妙地使用 Boltzmann 机器训练多层网络首先逐层预训练网络，然后在预训练网络之上使用另一种微调算法来进一步调整权重。

多层网络被重新命名为深度网络，深度学习革命已经开始。

AI 将其回报给物理学

诺贝尔物理学奖展示了物理学的思想如何促进了深度学习的兴起。现在，深度学习已经开始对物理学进行应有的回报，它能够准确、快速地模拟从分子和材料一直到整个地球气候的系统。

通过将诺贝尔物理学奖授予 Hopfield 和 Hinton，该奖项委员会表明了它对人类利用这些进步来促进人类福祉和建设可持续世界的潜力的希望。

一个mbuj Tewari， 统计学教授，密歇根大学

本文转载自对话根据 Creative Commons 许可。阅读原创文章.

宝宝起名