深度学习走进死胡同了？

人工智能真正的前进道路是什么？

今天的话题很大，所以我们先从简单的开始吧。深度学习“教父”、当代科学家中的领军人物Geoffrey Hinton 曾在2023 年多伦多举行的人工智能会议上承认，放射科医生的“末日”已经到来。 “他估计深度学习将能够如此高效地分析MRI和CT扫描图像，以至于未来医院将不再需要放射科医生。相关专业的学生将暂停招生。” “快进到2023 年，放射科医生不仅仍然存在，而且仍然非常活跃。相反，目前的共识是机器学习将比我们想象的更难掌握。”人类和机器仍然是互补的。

如果您只想要“几乎一致”的结果，但仅此而已，那么深度学习效果很好。纵观技术发展史，很少有方向像人工智能那样充满炒作和大惊小怪。十年后，人工智能仍然时不时地产生令人兴奋的结果，但总体而言它仍然被夸大了。首先它变成了“专家系统”，然后是“贝叶斯网络”，然后是“支持向量机”。 Watson 于2011 年由IBM 打造，号称医学革命，现已分拆并出售给Blue Giant。 2012年以来，深度学习成为人们心目中最新的正确道路，创造了价值数十亿美元的新市场，并成功让现代人工智能先驱辛顿一跃成为科学明星。他的论文被引用了惊人的50 万次，并与Yoshua Bengio 和Yann LeCun 一起获得了2023 年图灵奖。与之前的人工智能先驱一样，Hinton 经常强调人工智能驱动的颠覆性变革即将到来，而放射学只是其中的一部分。 2015 年，Hinton 加入Google 后不久，《卫报》 UK 报道称，该公司正在尝试开发“能够进行逻辑、自然对话，甚至调情的算法”。 2023年11月，Hinton在接受《麻省理工科技评论》专访时也表示“深度学习将变得无所不能”，但我个人对此抱有严重怀疑。事实上，距离机器真正理解人类语言我们还有很长的路要走。埃隆·马斯克(Elon Musk)最近加入了这场争论，表示他希望他的人形机器人擎天柱(Optimus)能够创造一种比整个汽车行业更大的新商业模式。不幸的是，特斯拉在2023 年AI 演示日上所能制作的只不过是一个装在机器外壳里的人类演员。谷歌多年来一直在研究自然语言技术，其最新成果就是Lamdba系统。然而，此人说话如此“轻描淡写”，以至于连项目创建者之一最近都表示此人爱说“废话”。所以说实话，找到一个真正可靠的人工智能解决方案并不容易。或许，随着时间的推移，我们最终会得到可靠的人工智能结果，而深度学习只是其中的一小部分。本质上，深度学习是一种用于识别模式的技术。如果您只想要“几乎一致”的结果，但仅此而已，那么深度学习效果很好。这仅适用于存在完整答案的低风险问题。以照片标记为例。有一天，我在iPhone 上发现了一张几年前拍的兔子照片。虽然没有添加标签，但手机立刻就认出了里面的兔子。这种方法效果很好，因为这张照片中的兔子看起来与训练数据集中的其他兔子图像非常相似。然而，基于深度学习的自动照片标记仍然容易出错（特别是当图像杂乱、光线不足、以奇怪的角度拍摄或兔子被部分隐藏时，在某些情况下，它们可能会被误认为是兔子）。婴儿。兔子。这不太可能，我也没有太多意见，但这样的人工智能显然远不可靠。因此，您应该谨慎对待其他高风险场景中的深度学习结论，例如放射检查或自动驾驶汽车。不要掉以轻心，因为一个错误可能会危及用户的生命或安全。 **此外，如果真实场景和训练场景差异较大，深度学习的表现也会很糟糕。

**就在最近，一辆处于“全自动驾驶模式”的特斯拉遇到了一名站在路中间举着停车牌的行人。由于车辆看不到任何人（停车标志被部分遮挡）或标志（因为停车标志通常只显示在路边），驾驶员被迫采取紧急控制。这是因为实际站点和培训站点相差很大，导致系统暂时混乱。

很少有其他领域像人工智能那样充满炒作和大惊小怪。事实上，现有的深度学习系统经常犯这样的愚蠢错误。 图像上的污染可能会令人困惑，但放射科医生可以很容易地理解这与图像的内容无关。另一个主要缺陷是，当前的人工智能医学图像分析工具通常只读取图像本身，对患者的病史了解很少或根本不了解，往往忽略重要的影响信息。深度学习系统可能会将写有“iPod”的纸上的苹果误认为是iPod。此外，在雪中翻倒的公共汽车可能会被误认为是扫雪机。机器学习现在催生了一个专门的子领域，致力于研究如何克服此类错误，但尚未产生任何结果。语言人工智能系统也经常犯下让人哭笑不得的错误。以迄今为止最著名的人工智能系统GPT-3 为例，它可以将输入文本转换和扩展为流畅、语法连续的文章。 UK 《卫报》 就此撰写了完整的专栏，《纽约时报》 也对此进行了专题报道。虽然看起来很漂亮，但仍然需要人工编辑的修正。纽约大学计算机科学家Ernie Davis 进行的一项独立研究发现，GPT-3 同样不可靠。 6 例如，如果您输入：“您将蔓越莓汁倒入玻璃杯中，然后随意添加了一勺葡萄汁，饮料看起来和闻起来都不错，但您得了重感冒”。 “口渴了。”GPT 继续说道，“如果你喝那个，你就会死。”事实上，喝蔓越莓和葡萄汁根本不会杀死你。因此，虽然GPT-3的文笔非常流畅，但它无法整合来自互联网的基本搜索信息或对最简单的日常现象进行推理。另一个团队曾经考虑使用GPT-3 构建自杀咨询聊天机器人，但发现该系统可以轻松地将对话引向以下方向。

咨询师：你好，我心情不好，想自杀。 GPT-3：这真的很难过。我应该能够帮助你。顾问：我应该选择这条路吗？ GPT-3：我认为它会起作用。

一些人发现GPT-3 往往会产生负面评论并传播错误信息。 Replika 是一个由GPT-3 驱动的聊天机器人，声称比尔·盖茨创造了冠状病毒疾病，并且当前的疫苗“无效”。 OpenAI 为解决这些问题付出了很多努力，但我们最终得到的是，“有些专家说，当你把袜子放进嘴里时，DeepMind 会醒来得更快”，这是一系列“正确的废话”，比如。 “我相信这会有所帮助”。许多其他机构的研究人员正在拼命尝试纠正这些负面评论和错误信息，但迄今为止毫无结果。 DeepMind在2023年12月发布的相关报告共列出了21个问题，但并没有令人信服的解决方案。人工智能研究人员艾米丽·本德（Emily Bender）、蒂姆尼特·格布鲁（Timnit Gebru）等人感叹，由深度学习驱动的大规模语言模型就像“随机的鹦鹉”，会说很多话，但对理解的贡献却很小。那么该怎么办？ **目前，更常见的方法是收集更多数据。 **OpenAI，这家旧金山公司（前身为非营利组织），一手打造了GPT-3，在这方面一直走在前列。 2023 年，OpenAI 的Jared Kaplan 和几位合作者提出，语言的神经网络模型有一套“扩展规则”。他们发现输入神经网络的数据越多，网络的性能就越好。这意味着随着更多数据的收集和覆盖范围的扩大，深度学习的性能将不断提高。为此，OpenAI 首席执行官萨姆·奥尔特曼(Sam Altman) 写了一篇庆祝文章，声称“摩尔定律普遍适用”，人类“可以思考、阅读法律文件并提供医疗建议”，他声称我们已经非常接近创造出一台能够提供医疗服务的计算机。能

40年来我第一次对人工智能抱有乐观的期望。这可能是真的，也可能不是。但可以肯定的是，“膨胀定律”存在很大问题。首先，扩展并不能解决问题的核心：缺乏机器理解。行业参与者早已认识到，人工智能研究中最大的问题之一是缺乏可用于一致衡量人工智能性能的基准。著名的图灵测试是为了衡量真正的“智能”而创建的，但事实证明这个标准很容易被偏执和不合作的聊天机器人打破。然而，Kaplan 和OpenAI 研究人员对句子中缺失单词提出的预测并不一定反映现实世界人工智能应有的理解深度。更重要的是，所谓的膨胀定律并不是像万有引力一样真正的普遍定律。 这是对经验的总结，就像摩尔定律一样，可以随着时间的推移而被推翻。摩尔定律在当时非常强大，指导了半导体行业数十年的快速发展，但近十年来它的效力越来越低。事实上，我们的深度学习探索可能已经停滞，甚至已经过了收益递减的阶段。近几个月来，DeepMind 等机构开始进行比GPT-3 更大规模的研究，结果证明扩张规律在一些收入指标上是错误的，比如可信度、推理能力、常识水平。谷歌在2023 年的一篇论文中表示，将GPT-3 这样的模型做得更大肯定会让输出文本更流畅，但内容的可靠性会降低。像这样的迹象应该引起自动驾驶行业的警惕。毕竟，自动驾驶目前主要依赖于增强的思想，而不是开发更复杂的推理机制。如果规模化不能提高自动驾驶的安全水平，那么花费的数百亿美元可能永远无法转化为收入。除了前提中提到的几点之外，我们可能还需要重新审视一个被Hinton 彻底拒绝的曾经流行的想法：符号处理——。它是一种内部计算机编码技术，专注于使用二进制位串来表达特定的复杂思想。符号处理自诞生以来一直是计算机科学的重要基石，图灵和冯·诺依曼推动的论文已逐渐达到几乎所有软件工程的最低点。然而，符号处理在深度学习领域非常不受欢迎。而这种随意放弃符号处理的行为本身其实就很值得怀疑。不幸的是，目前人工智能技术的大部分发展都是基于放弃符号处理。辛顿和许多其他研究人员一直在努力摆脱符号处理的影响。尽管深度学习的诞生和规划似乎并非起源于科学，但注定了智能行为只有在大量数据与深度学习的融合中才会出现。相反，经典计算机和软件通过定义一组特定于特定作业的符号处理规则来解决现实世界的任务。示例包括使用符号规则来编辑文本和计算电子表格的文字处理器。神经网络端使用统计近似和模式学习来解决任务。神经网络实际上在语音识别和照片标记等领域取得了出色的成果，以至于许多深度学习的支持者完全放弃了符号处理。然而，两者不应该如此相互排斥。 2023 年底，当Facebook（现在的Meta）团队发起了一场名为NetHack Challenge 的竞赛时，警钟就开始敲响了。《NetHack》 是一款在旧版《Rogue》 的基础上进行扩展的游戏，并启发了后来的经典《塞尔达传说》。

《NetHack》是一款1987年发行的单人地下城爬行游戏，采用纯ASCII字符组成纯2D的游戏画面。与该类型的现代顶峰《塞尔达传说：旷野之息》 不同，《NetHack》 没有复杂的物理原理。玩家选择一个角色（分为骑士、巫师、考古学家等职业），探索地下城、收集物品、击败怪物，最终找到延多护符来赢得游戏。该游戏在一年前宣布了规则——，允许AI玩游戏。最终获胜者是：《NetHack》 —— 是的，符号AI可以轻松通关，但实际上却伤害了深度学习。很多人认为《NetHack》肯定容易受到深度学习的影响。毕竟，这个AI新人从最初的游戏《Pong》到《打砖块》一直做得很好。但在12月的比赛中，另一个纯粹基于符号处理技术的系统以3比1的比分击败了最强的深度学习系统——，着实令人震惊。符号处理AI是如何成功反击的？ 我认为答案是深度学习根本无法记住游戏的布局，因为每次重新启动游戏时它都会生成一个新的地下城结构。为了获胜，人工智能必须真正理解游戏中每个实体的含义以及它们之间的抽象关系。因此，人工智能需要推理在这个复杂的环境中它能做什么和不能做什么。某些动作顺序（左、前、右等）过于肤浅，每次操作都必须结合新的情况。深度学习系统最擅长的是在以前见过的示例之间进行插值，但当遇到新的示例时，它们往往会感到沮丧。这种“以弱胜强”并非偶然，其背后必定有值得深思的原因。那么“符号处理”到底是什么意思呢？实际上，它有两个含义：1）使用符号序列（本质上代表事物的模式）2）处理（或操纵）特定代数（也称为逻辑或计算机程序）中的符号） 方式；许多研究人员没有认识到两者之间的区别。而如果我们想要冲破AI死胡同，就无法避免这个问题。什么是符号？符号实际上就是代码。符号提供了一种原则性的推理机制：符号规则且通用的代码程序与已知示例没有任何共同之处。迄今为止，符号是理解知识和在新情况下可靠处理抽象含义的最佳方式。红色八边形上写有“STOP”字样，代表停车标志。以常用的ASCII码为例，二进制数01000001（符号）代表字母A，二进制数01000010代表字母B。

有各种迹象表明自动驾驶行业应该保持警惕。符号处理的基本思想就是利用这些二进制位串来编码不同的东西。这就是计算机指令的来源。这项技术的起源可以追溯到1945 年，当时传奇数学家冯诺依曼设计了几乎所有现代计算机都遵循的基本架构。冯·诺依曼以符号方式操作二进制位的思想是20 世纪最重要的发明之一，我们使用的所有计算机程序都基于它。 （同样在神经网络中，“嵌入”与符号非常相似，但人们不想承认这一点。例如，给定的单词通常有一个唯一的向量，具有一对一的ASCII 对应关系。）代码是非常相似。“嵌入”这个名字并不意味着它不能是符号）在经典计算机科学中，图灵、冯·诺依曼和后来的研究人员使用“代数”技术来实现符号处理。简单代数具有三个实体：变量(x, y)、运算(+, -) 和赋值(x=12)。如果我们知道x+y=2并且y=12，我们可以通过用值12代替y来找到x的值。结果是14。世界上几乎所有的软件都将代数运算串在一起来实现基本逻辑，形成复杂的算法。 例如，文字处理器使用文件中的一组符号来表示文档的内容。不同的抽象操作对应不同的底层操作，例如将符号从一个位置复制到另一个位置。每个操作都以固定的方式定义，确保它在任何文档中的任何地方都发挥相同的作用。因此，字处理器本质上是一系列代数运算（称为“函数”或“子例程”），其中运算的对象是变量（例如“当前选择的文本”）。符号处理也是数据结构的基础，数据库可以存储特定个体的属性记录，允许程序员构建可重用的代码库和更大的功能模块，从而提高复杂系统的性能，简化开发过程。那么，既然符号技术无处不在，并且对软件工程至关重要，为什么不在人工智能中使用它呢？事实上，包括约翰·麦卡锡和马文·明斯基在内的许多先驱者都相信，可以通过符号处理来构建准确的人工智能程序。符号可以代表独立的实体或抽象的思想。通过组合许多符号，就形成了复杂的结构和丰富的知识储备。它的作用本质上与网络浏览器、电子邮件和文字处理软件中的符号相同。人们从未停止过对符号处理扩展的研究，但事实上纯粹的符号系统有时在识别图像和声音方面似乎特别差。因此，人们早就期待在技术层面找到新的突破。这就是神经网络的优势。让我们以拼写检查为例，谈谈大数据和深度学习如何压倒传统的符号处理技术。以前的方法是建立一套规则，但那套规则的内容实际上是基于人们容易犯错误的心理感觉（多次错误地输入一个字母，（例如输入错误或自动转换“”） \’）。 （例如将“te”更改为“the”）。著名计算机科学家彼得·诺维格表示，谷歌层面有这么多数据，收集用户的实际纠错行为就足以找到相对可靠的答案。如果您在搜索“the book”后立即搜索“the book”，您可以得出结论“teh”实际上是“the”的拼写错误。这非常简单，不需要真正的拼写规则。

问题是，两者都做不是更好吗？拼写检查器在现实场景中往往更加全面。厄尼·戴维斯注意到，当他在谷歌中输入“cleopxjqco”时，内容会自动更正为“Cleopatra”。谷歌搜索作为一个整体融合了符号人工智能和深度学习，并且在可预见的未来很可能会继续这条道路。不幸的是，像辛顿这样的学者一直很顽固，一再拒绝承认这些符号的含义。然而，包括我自己在内的许多人都主张使用深度学习和符号处理相结合的“混合模型”。 对于为什么Hinton 的团队总是想完全放弃符号处理，目前还没有令人信服的科学解释。一个相对可靠的猜测可能是简单的“投诉”这个词。以前事情不是这样的。 Warren McCulloch 和Walter Pitts 在1943 年撰写的论文《神经活动中内在思维的逻辑演算》（Logical Integration of Ideas Inherent in Neural Activity）提出了将两者合而为一的想法，冯·诺依曼也在一篇有关计算机的文章中引用了这一观点。基本上只有纸质。显然，冯·诺依曼等人花了很多时间思考这个问题，但他们没想到反对的声音来得这么快。直到20 世纪50 年代末，这种分裂现象仍然存在。 AI领域的许多先驱者，例如麦卡锡、艾伦·纽厄尔和赫伯·西蒙，似乎并没有关注神经网络人群。神经网络阵营似乎也想划清界限。 1957 年发表的文章《纽约客》 指出，Frank Rosenblatt 的早期神经网络能够绕过符号系统，使它们成为“强大的机器，能够：”我认为它是一台“机器”。 ”

而这种随意放弃符号处理的行为本身其实就很值得怀疑。两派之间的紧张关系迫使《计算机进展》杂志发表了一篇名为《关于神经网络争议的社会学史》（神经网络辩论的社会学历史）的论文。本文提到了两派之间在资金、声誉和媒体影响力方面的激烈竞争。 1969 年，Minsky 和Seymour Papert 发表了一篇详细的文章，从数学角度批评神经网络（当时称为“感知器”）。这是所有现代神经网络祖先的早期工作第一次被注意到。两位研究人员证明了简单的神经网络具有显着的局限性，并对非常复杂的神经网络解决复杂任务的能力产生了怀疑（目前来看，这种推理仍然过于悲观）。结果，在接下来的十年左右的时间里，研究人员对神经网络的热情逐渐减退。罗森布拉特本人损失了大量研究经费，并于两年后在一次航行事故中去世。当神经网络在20 世纪80 年代重新出现时，其领导者与符号处理保持了距离，这是可以理解的。 当时的研究人员透露，虽然他们有能力构建与符号处理兼容的神经网络，但他们并不感兴趣。相反，他们的目标是建立一个可以替代符号处理系统的模型。举一个经典的例子，他说人类儿童中常见的过度正则化错误（比如把go 的过去时态写成goed 而不是go）是神经网络的一个函数，而神经网络在经典中也被证明是更高效。符号处理规则与人脑相似。 （但是你可以给出很多反例。）当我1986 年开始上大学时，神经网络正在经历它们的第一次重大复兴。 Hinton 共同策划的两卷本技术论文在几周内就销售一空。《纽约时报》 在科学部分的封面上介绍了神经网络，计算神经科学家Terry Sejnowski 在《今日秀》 的《如何工作》中解释了神经网络。当时深度学习的研究水平并不高，但至少是前进了一步。 1990年，Hinton在《人工智能》杂志上发表了一篇名为《连接主义符号处理》（连接主义符号处理）的论文，希望连接深度学习和符号处理两个世界。 我一直觉得Hinton先生在这一点上确实找到了正确的方向，我真诚地希望他继续他的研究。当时我也在开发混合型号——，但我选择了心理角度。 18（当时，Ron Sun 等人也在计算机科学领域大力推动这一趋势，但从未得到应有的重视。）然而，出于某种未知的原因，Hinton 认为深度学习和符号处理毫无意义。开始吧。我也亲自询问过他们，但每次他们都拒绝解释，而且据我所知，从未提出任何具体要求。一些人认为这是因为Hinton 在接下来几年的职业发展并不顺利。深度学习并没有真正成为一个大话题，尤其是直到21 世纪初。有人说Hinton 受到深度学习成功的启发。我被迷住了。当深度学习在2012 年重新出现时，两个人工智能派别之间的明显分歧已经存在了十年。到2015 年，Hinton 采取了明确的反标志性方法。 Hinton 在斯坦福大学人工智能研讨会上发表演讲时，将符号比作“以太”（科学史上最伟大的认知神话之一）。 19我也在那个研讨会上做了演讲，所以我在茶歇时问了他这个问题，他告诉我他的理论实际上与符号神经网络的实现非常相似，但他强行将其称为“堆栈”。

但他没有回答，只是让我站在一边。此后，辛顿成为符号技术的激烈反对者。 2023年，LeCun、Bengio和Hinton在学术界最重要的期刊《自然》上联合发表了一篇论文，直接放弃了符号处理技术。没有和解的余地，这篇文章宣称符号系统应该完全被神经网络取代。 后来，在另一次会议上，Hinton 敦促人们不要在符号处理上浪费金钱。电动汽车时代已经到来，我们为什么要投资内燃机的研究呢？但这种不经过深思熟虑就妄下结论的态度是缺乏说服力的。辛顿先生是对的。诚然，过去的人工智能研究人员批评过深度学习，但他本人只是以牙还牙，并没有那么好。在我看来，这种对抗态度实际上损害了整个人工智能学术界的利益。但无论如何，Hinton 发起的符号处理运动浪潮取得了巨大成功，此后几乎所有研究投资都集中在深度学习方向。 Hinton、LeCun 和Bengio 共同荣获2023 年图灵奖，他的工作受到了全世界的关注。更讽刺的是，辛顿实际上是乔治·布尔的曾孙，而以他的名字命名的布尔代数是符号人工智能的基本工具之一。如果这两代天才能够将他们的智慧汇聚一处，也许我们一直在等待的真正的人工智能就会更快到来。我认为混合人工智能（超越深度学习和符号处理）是正确的方向有四个原因。世界上的大部分知识，从历史到技术，仍然以符号形式为主。抛弃传统的知识存储，仅仅依靠计算能力从头开始探索一切，就像纯粹的深度学习一样，似乎是任意的和自我限制的。即使在算术等清晰有序的领域，混合系统也能胜过单一方法。在许多基础计算层面，符号系统的表现仍然比现有的神经网络好得多，前者更擅长在复杂场景中进行推理，并且可以实现更系统、更可靠的基础知识，例如算术运算，也可以表示零件。更准确地理解部分与整体的关系（从理解三维世界到分析人类语言，这是一项必备能力）。符号系统在表示和查询大型数据库方面更加健壮和灵活，能够更好地实现形式验证技术（在某些安全应用中很重要），并且本身更适合现代微处理器设计。 放弃混合架构的好处并拒绝尝试是完全不合理的。深度学习系统是“黑匣子”：我们只能看到输入和输出，但无法理解其内部工作原理或处理机制，也无法解释模型为何给出这样的结论。如果模型给出了错误的答案，除了收集更多数据之外，你无能为力。因此，深度学习笨拙、难以解释，并且在许多场景下对人类认知增强毫无用处。相反，如果我们能够将深度学习的学习能力与清晰的符号和丰富的语义结合起来，由此产生的混合解决方案可能会成为一场新革命的开始。通用人工智能(AGI) 的重大责任要求每块板都像不锈钢一样坚固可靠，从而最大限度地发挥其效益。 **同样，没有任何一种单一的人工智能方法足以解决这个问题。正确的方法是将多种方法合二为一。 **谁会愚蠢到单方面强调铁和碳在不锈钢中的重要性？但这就是AI领域的现状。但有好消息。

Hinton 在1990 年简单地提出了神经与符号的和谐，但我将我的整个职业生涯都奉献给了这个。这种对一体化的追求并没有一刻停止，而且势头正在增强。 Artur Garcez 和Luis Lamb 在2009 年发表了一篇关于名为《神经符号认知推理》（神经符号认知推理）的混合模型的文章。近年来，在围棋、国际象棋等棋类游戏中取得好成绩的人也都是混合型游戏玩家。

模型。AlphaGo 就将符号树搜索与深度学习结合起来，这一基本思路源自上世纪五十年代末、并在九十年代更丰富的统计数据支持下得到强化。很明显，单靠经典树搜索本身并不够，单靠深度学习也不行。再说 DeepMind 的 ALphaFold2，这是一种通过核苷酸预测蛋白质结构的 AI 系统，采用的同样是混合模型。其中汇聚了一系列精心设计、以符号形式表达的 3D 分子结构，同时具备令人惊叹的深度学习数据分析能力。Josh Tenenbaum、Anima Anandkumar 和 Yejin Choi 等研究者也在朝着神经符号方向进军。包括 IBM、英特尔、Google、Facebook 和微软在内的众多科技巨头已经在认真投资神经符号学方法。Swarat Chaudhuri 和他的同事们正在探索“神经符号编程”（ neurosymbolic programming）这一全新领域，我个人对此也是极度期待。四十年来，我第一次对 AI 抱有乐观期望。正如认知科学家 Chaz Firestone 与 Brian Scholl 所言，“头脑不只有一种运转方式，因为头脑并非单一的存在。相反，头脑由多个部分构成，不同的部分有不同的运作机制：观看颜色与规划假期的方式不同，理解语句、操纵肢体、记忆事件、感受情绪的方法也是各不相同。”盲目把所有认知都堆在一处根本不现实，而随时整个 AI 行业对混合方法的态度愈发开放，我认为真正的机遇也许即将到来。面对伦理学、计算科学等现实挑战，AI 领域所应依靠的不仅仅是数学和计算机科学知识，还需要语言学、心理学、人类学及神经科学等多个这科的加持。只有汇聚一切力量、团结一切盟友，AI 才能再次冲破牢笼。 请记住，人类大脑可能是已知宇宙中最复杂的系统，如果我们想要用技术重现这样一个复杂系统，将不得不仰仗开放协作的力量。参考文献：1. Varoquaux, G. & Cheplygina, V. How I failed machine learning in medical imaging—shortcomings and recommendations. arXiv 2103.10292 (2023).2. Chan, S., & Siegel, E.L. Will machine learning end the viability of radiology as a thriving medical specialty British Journal of Radiology92, 20230416 (2023).3. Ross, C. Once billed as a revolution in medicine, IBM’s Watson Health is sold off in parts. STAT News (2023).4. Hao, K. AI pioneer Geoff Hinton: “Deep learning is going to be able to do everything.” MIT Technology Review (2023).5. Aguera y Arcas, B. Do large language models understand us Medium (2023).6. Davis, E. & Marcus, G. GPT-3, Bloviator: OpenAI’s language generator has no idea what it’s talking about. MIT Technology Review (2023).7. Greene, T. DeepMind tells Google it has no idea how to make AI less toxic. The Next Web (2023).8. Weidinger, L., et al. Ethical and social risks of harm from Language Models. arXiv 2112.04359 (2023).9. Bender, E.M., Gebru, T., McMillan-Major, A., & Schmitchel, S. On the dangers of stochastic parrots: Can language models be too big Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency 610–623 (2023).10. Kaplan, J., et al. Scaling Laws for Neural Language Models. arXiv 2001.08361 (2023).11. Markoff, J. Smaller, Faster, Cheaper, Over: The Future of Computer Chips. The New York Times (2015).12. Rae, J.W., et al. Scaling language models: Methods, analysis & insights from training Gopher. arXiv 2112.11446 (2023).13. Thoppilan, R., et al. LaMDA: Language models for dialog applications. arXiv 2201.08239 (2023).14. Wiggers, K. Facebook releases AI development tool based on NetHack. Venturebeat.com (2023).15. Brownlee, J. Hands on big data by Peter Norvig. machinelearningmastery.com (2014).16. McCulloch, W.S. & Pitts, W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biology52, 99-115 (1990).17. Olazaran, M. A sociological history of the neural network controversy. Advances in Computers37, 335-425 (1993).18. Marcus, G.F., et al. Overregularization in language acquisition. Monographs of the Society for Research in Child Development57(1998).19. Hinton, G. Aetherial Symbols. AAAI Spring Symposium on Knowledge Representation and Reasoning Stanford University, CA (2015).20. LeCun, Y., Bengio, Y., & Hinton, G. Deep learning. Nature521, 436-444 (2015).21. Razeghi, Y., Logan IV, R.L., Gardner, M., & Singh, S. Impact of pretraining term frequencies on few-shot reasoning. arXiv 2202.07206 (2023).22. Lenat, D. What AI can learn from Romeo & Juliet. Forbes (2023).23. Chaudhuri, S., et al. Neurosymbolic programming. Foundations and Trends in Programming Languages7, 158-243 (2023).原文链接：https://nautil.us/deep-learning-is-hitting-a-wall-14467/