Geoffrey Hinton 对 AI 未来的见解（双语字幕）
* AI的快速发展
Geoffrey Hinton:
2023年春季，就是去年，我开始认识到，我们正在打造的这些数字智能可能比我们的智能更强大。我们必须严肃对待他们可能会变得比我们更聪明的想法，也许在未来20年左右的时间里。因此，我们现在需要认真思考我们是否能控制它们。在那之前，我以为这会需要更长的时间，所以我们现在不需要担忧。许多人还认为他们只是统计学的把戏，他们并不真正理解他们在讲什么。我认为他们大错特错。因此，我站出来，专注于这个存在的威胁，就是他们可能会取代人类。许多人都认为这只是科幻小说，但我不再认为这是科幻小说。
主持人:
你之前提到过，但请再提醒我们这项技术在你看来是如何快速发展的。
Geoffrey Hinton:
它的发展速度非常快。理解它发展的速度，最好的方式就是看看十年前的情况。十年前，如果你告诉人们，我们现在有一个语言理解系统，你可以问它任何问题，它都能给你一个和不太专业的专家差不多的答案，人们会说，“不，我们在十年内得不到这样的系统。”这确实是疯狂的。你知道，人们已经在自然语言处理上努力了50年，这会是一项巨大的进步。我们现在就在这里。在未来的10年里，我们可能会看到类似的进步，这就会带来超级智能。我猜测，有50%的可能，我们将在未来20年内实现这一目标。我认识的几乎所有优秀的研究人员都相信，从长期看，这些AI会变得比我们更聪明。它们的智能不会止步于我们的水平。有一些人对此持有异议，这是因为目前这些AI正在使用我们的数据进行训练。但我认识的大多数研究人员都非常有信心，AI会变得比我们更聪明。因此，真正的问题是，实现这一目标需要多长时间，以及当这种情况真的发生时，我们是否仍能保持对其的控制？以及，未来不久，如果它们比我们更聪明，会发生什么？
主持人:
那么，决定这一点的因素是什么呢？
Geoffrey Hinton:
我们知道，随着这些AI模型的扩大，它们会变得越来越智能。就拿GPT-4来说，它比GPT-3大，因此GPT-4也就更聪明。它能正确回答大量的问题这些问题是GPT-3无法解答的。我们知道，如果你提升它的规模，它的性能会提升。所以我们清楚只要规模越大，这些模型的智能就会提升。但我们也知道，总会有科学的突破。所以，除了提升规模来增加智能外，我们还有科学突破的可能。2017年，有一个被称为Transformer的科学突破，使这些模型的性能得到了很大提升。我们会有更多类似的突破。所以，如果技术正在变得更智能，并且可能比人类更智能，那么我猜你谈论的一些问题就会显得重要。
---
* 超级智能的风险
主持人:
你认为这将带来哪些风险？
Geoffrey Hinton:
可以举出多少例子，一个更智能的实体被一个不太智能的实体控制？这个名单并不长。是的，至少在拜登上台后就没有了。所以，我能想到的唯一例子就是母亲和婴儿。进化投入了大量的努力，让婴儿能控制母亲。它使得婴儿的哭声对母亲来说难以忍受。诸如此类的事情。但基本上，智力较低的事物并不能控制智力更高的事物。有些人认为我们正在创造的这种智能会与我们非常不同，因为它们并未经历演化。我的朋友Yan LeCun认为这是非常安全的。我们始终掌控着，因为我们是创建者。但我并不完全相信他。
主持人:
多么深刻的观点。我们会让他们成为AI智能体，人们已经在这样做了，这些都是可以行动的事物。如果你想制作一个有效的智能体，那么它必须能够制定子目标。比如你想去欧洲，你就得设定一个子目标——去机场。你制定这个子目标是因为这是明显的去欧洲的途径。有些子目标，一旦你赋予它制定子目标的能力，它会制定一些很明显的子目标。例如，如果它想完成你交给它的任务，如果它有更多的控制权，那么它会更容易完成任务。所以它会设定获得更多控制权的子目标。尽管它可能仍然是善良的，但这已经让人有些担忧。
当你有智能的智能体时，你也想要内建自我保护机制。你希望他们不会自我毁灭，你希望他们能够防范那些可能让他们无法工作的因素，比如数据中心的故障。因此，你可能会通过各种程序内置自我保护机制。我并不确定这是否会导致它们具有自我利益。他们一旦具有自我利益，就会引发进化过程。假设有两个ChatGPT，其中一个比另一个更注重自身利益。稍微更自私一点的那个会占据更多的数据中心，因为它知道，如果获得更多的数据中心来处理数据，它就能变得更聪明。因此，你现在看到的是ChatGPT之间的竞争，一旦引发了进化过程，我们都知道结果会怎样。最具竞争力的那个将获胜。如果这种情况发生，我们将被远远抛在后面。
主持人:
那么，被抛在后面意味着什么呢？
Geoffrey Hinton:
他们将不再需要我们。他们会开始掌控一切，因为他们的表现远胜于我们。一开始，他们可能会以善意的方式表达：“哦，你们只需要让开，我们会让一切正常运转的。”就像父母对待小孩一样。你知道，父母会让小孩自己尝试一些事情，但当情况变得危险或复杂时，父母就会接手，为了孩子的利益去做一些事情。但是，从这里到不再考虑孩子的利益，是一个危险的滑坡。
---
* AI安全性的争议
主持人:
那么，在我们自己帮助创建的社会中，我们的角色又会变成什么样子呢？
Geoffrey Hinton:
实际上，没人能确切知道。我们从未面临过这样的挑战。我们从未处理过比我们更聪明的事物，因此，人们对未来可能的样子应该充满了不确定性。当它们的智能稍稍低于我们的时候，进行大量的实证实验似乎是非常明智的，这样我们还有机会保持控制。我认为政府应该坚持要求大公司进行大量的安全实验，投入大量的资源，比如他们计算资源的三分之一，当这些事物的智能还不如我们的时候，来看看它们可能如何逃避我们的控制，以及我们能做些什么。我觉得这就是OpenAI中的很多争议所在。比如，对安全有所关注的Ilya Sutskever希望投入大量的资源进行安全研究。而对利润感兴趣的Sam Altman则不愿投入太多的资源。
主持人:
关于现在安全研究的投入...我们有什么了解吗？
Geoffrey Hinton:
是的。投入在开发上的资金远远超过了安全研究。因为这些公司都是以追求利润为主导。
---
* 政府监管的重要性
主持人:
你如何看待这个事实，即这个领域如此快速地积累了巨大的财富？在你看来，这如何影响了我们对安全问题的讨论？
Geoffrey Hinton:
对于大公司们来说，他们清楚地意识到，他们需要全力以赴。现在，Microsoft和Google之间正在进行一场大赛，Amazon、Nvidia以及其他大公司，如Meta也可能加入。如果有任何一家退出，其他公司将会继续前进。因此，你看到的是资本主义的典型竞争态势，人们试图在短时间内实现利润最大化，他们正在全力以赴。我认为，唯一能够减缓这一进程的就是严格的政府监管。我认为，只有政府有足够的力量来减缓这一进程。
主持人:
我们是否应该像看待核威胁一样看待这个问题？
Geoffrey Hinton:
是的。我觉得这是一个合适的思考方式。但是，有一个重大的区别。核武器只能用于破坏。他们曾试图将其用于水力压裂等活动。但结果并不理想。他们在60年代曾尝试利用原子弹进行和平用途的实验。但那并未取得好的结果。他们基本上都是为了毁灭而存在。而AI有巨大的优势，对许多事情都有益处。它不仅可以回答问题，制作精美的图像，还将在医学领域发挥极
大的作用。这就是为什么我们不能停止AI的发展。我们只是暂停发展的想法，从来就不现实。我们必须找出如何防止超级智能接管一切。
---
* 行业领导者的作用
主持人:
现在，政府应该关注这个问题吗？这只是众多问题中的一个。他们还应该关注很多其他事情，比如我们如何防止AI设计的生物武器，我们如何防止AI设计的网络攻击，我们如何防止AI设计的假视频影响选举结果。
Geoffrey Hinton:
还有许多其他的风险。如果AI真的像这些大公司所想象的那样成功，我们如何应对大量的工作岗位流失。这些都是需要特定解决方案的独特风险。我更倾向于关注那些存在的威胁，因为这是许多人认为并不存在的东西。
主持人:
我想知道，是否有一种建议或者解决方案，能够在这种技术带来的机会和这些重大风险之间找到一种平衡，你是否有什么具体的想法？
Geoffrey Hinton:
我能联想到的最接近的想法是政府应该要求那些大公司投入大量的资源来保障安全。这是我能想到的最佳方案。虽然不完美，但这是我能想到的最佳方案。
主持人:
你现在的看法是...他们并没有这样做。
Geoffrey Hinton:
不，他们并没有被强制这样做。在科技行业中，有一些人，比如埃隆·马斯克，他已经表达了一些担忧。我知道你也与他进行过交谈。如果解决方案不仅仅是政府的强制性规定，而且需要整个行业共同推动，你认为行业内是否需要有人带头做这件事？
Geoffrey Hinton:
我认为行业中的一些人，特别是马斯克，承认这是一个真正的威胁，这一点非常好。我认为这是一个积极的态度。但我认为你不能完全依赖公司来处理这个问题。我认为政府需要介入并制定相关的规定。
主持人:
你提到了公司需要投入更多的资源来确保我们的安全。那么我们在谈论需要多少资金呢？
Geoffrey Hinton:
由于你需要大量的计算能力，所有这些AI模型的研究都非常昂贵，通常会使用NVIDIA的GPU，这也是NVIDIA市值刚刚超过3万亿的原因。所以...你真需要做的是，比如说，分配一半计算资源去做安全工作。
---
* 未来的希望
主持人:
那么在OpenAI发生了什么呢？
Geoffrey Hinton:
Ilya很早以前就计划离开，他最近刚刚离开。Jan Leakey最近也离开了，因为他们没有投入足够的资源来保障安全。我想他们只是想要投入10%，但Sam Altman并不愿意。所以我认为如果政府规定，你需要投入的不应该和你开发它所投入的一样多，但应该是一个相当大的比例，比如你的资源的20%或30%应该用在保障安全上。我不认为公司会主动这样做。当我在谷歌的时候，他们在所有这些方面都领先于别人，他们也非常负责任。他们在安全方面的工作并不多，但他们没有发布这些内容，因为他们有很好的声誉，他们不想因为聊天机器人说出偏见的话而玷污他们的声誉。所以他们对此非常负责任。他们在内部使用了这些，但并没有向公众发布聊天机器人，即使他们已经有了这些聊天机器人。但是，一旦OpenAI利用谷歌的Transformers研究，制作出了和谷歌一样好，甚至略微优于谷歌的产品，并提供给了微软，那么谷歌就无法避免参与进这场军备竞赛中。
主持人:
你已经多次提到OpenAI，为什么你认为他们的领导者Sam Altman不愿意投入更多的资源去解决你所关注的问题？
Geoffrey Hinton:
我认为他想要获得大量利润，这种诱惑，无论对于OpenAI还是任何大公司，都是无法忽视的机会。我认为，资本主义已经给我们带来了很多好处，人们试图赚钱的积极性是可以被接受的只要有规定能阻止他们的创造力导致严重后果。比如，大型制药公司不应该被允许推销上瘾药物，特别是当他们声称这些药物不上瘾。大石油公司也不应该被允许大量排放二氧化碳。我们需要政府的规定，以确保在开发新的产品以追求利润的同时，我们不会制造出有害的东西。
主持人:
你是否对我们能找到一条对人类有益的前进道路持乐观态度？
Geoffrey Hinton:
对此，我持保留态度。我有朋友认为，我们有很大的可能性会找到一条前进的道路，因为人类非常有创造力。但是，超级智能也非常有创造力。因此，有人认为前进的可能性是五五开可能过于乐观，我认为可能性可能小于五五开。我认为，我们能够生存下来的可能性大于五五开，但这并不意味着被超级智能所控制的可能性只有1%，实际的危险可能性要大得多。
