机器之心:理解AI驱动的软件2.0智能革命

   日期:2024-12-26    作者:ira0v 浏览:72    移动:http://w.yusign.com/mobile/quote/6177.html

科幻小说家Arthur Clarke这样说过:“任何先进的技术都与魔法无异!”如果回到19世纪,想象汽车在高速路上以100多公里的时速行驶,或者用手机与地球另一端的人视频通话,那都不可想象的。自1956年Dartmouth Workshop开创了人工智能领域以来,让AI比人类更好地完成智力任务,我们向先辈们的梦想前进了一大步。虽然,有些人认为这可能永远不会发生,或者是在非常遥远的未来,但新的模型会让我们更加接近大脑工作的真相。对大脑的全面了解,才是AI通用化(AGI)的未来。

(一)透视神经网络

科学家们发现,当用不同的神经网络训练同一个数据集时,这些网络中存在相同的神经元。由此他们提出了一个假设:在不同的网络中存在着普遍性的特征。也就是说,如果不同架构的神经网训练同一数据集,那么有一些神经元很可能出现在所有不同的架构中。

这并不是唯一惊喜。他们还发现,同样的特征检测器也存在与不同的神经网络中。例如,在AlexNet、InceptionV1、VGG19和Resnet V2-50这些神经网络中发现了曲线检测器(Curve Detectors)。不仅如此,他们还发现了更复杂的Gabor Filter,这通常存在于生物神经元中。它们类似于神经学定义的经典“复杂细胞”,难道我们的大脑的神经元也存在于人工神经网络中?

OpenAI的研究团队表示,这些神经网络是可以被理解的。通过他们的Microscope项目,你可以可视化神经网络的内部,一些代表抽象的概念,如边缘或曲线,而另一些则代表狗眼或鼻子等特征。不同神经元之间的连接,还代表了有意义的算法,例如简单的逻辑电路(AND、OR、XOR),这些都超过了高级的视觉特征。

▪ 大脑中的 Transformer

来自University College London的两位神经科学家Tim Behrens和James Whittington帮助证明了我们大脑中的一些结构在数学上的功能与 Transformer 模型的机制类似,具体可以看这篇《How Transformers Seem to Mimic Parts of the Brain》,研究显示了Transformer模型精确地复制在他们大脑海马体中观察到的那些工作模式。

去年,麻省理工学院的计算神经科学家Martin Schrimpf分析了43种不同的神经网络模型,和大脑神经元活动的磁共振成像(fMRI)还有皮层脑电图(EEG)的观测做对比。他发现Transformer是目前最先进的神经网络,可以预测成像中发现的几乎所有的变化。计算机科学家Yujin Tang最近也设计了一个Transformer模型,并有意识的向其随机、无序的地发送大量数据,模仿人体如何将感官数据传输到大脑。他们的Transformer模型,就像我们的大脑一样,能够成功地处理无序的信息流。

尽管研究在突飞猛进,但Transformer这种通用化的模型只是朝着大脑工作的精准模型迈出的一小步,这是起点而不是探索的终点。Schrimpf也指出,即使是性能最好的 Transformer模型也是有限的,它们在单词和短语的组织表达上可以很好地工作,但对于像讲故事这样的大规模语言任务就不行了。这是一个很好的方向,但这个领域非常复杂!

(二)千脑理论

Jeff Hawkins是Palm Computing和Handspring的创始人,也是PalmPilot和Treo的发明人之一。创办企业之后,他转向了神经科学的工作,创立了红木理论神经科学中心(Redwood Center),从此专注人类大脑工作原理的研究。《A Thousand Brains》这本书详细的解释了他最重要的研究成,湛庐文化在今年九月推出了中文版《千脑智能》。

大脑新皮层(Neocortex)是智力的器官。几乎所有我们认为是智力的行为,如视觉、语言、音乐、数学、科学和工程,都是由新皮层创造的。Hawkins 对它工作机理采取了一种新的解释框架,称为 “Thousand Brains Theory”,即你的大脑被组织成成千上万个独立的计算单元,称为皮质柱(Cortical Columns)。这些柱子都以同样的方式处理来自外部世界的信息,并且每个柱子都建立了一个完整的世界模型。但由于每根柱子与身体的其他部分有不同的联系,所以每根柱子都有一个独特的参考框架。你的大脑通过进行投票来整理出所有这些模型。因此,大脑的基本工作不是建立一个单一的思想,而是管理它每时每刻都有的成千上万个单独的思想。

我们可以把运行Transformer训练的神经网络的电脑想象成一个及其简陋的人工皮质柱,给它灌输各种数据,它输出预测数据(参考第四、五两章的讲解来理解)。但大脑新皮层有 20多万个这样的小电脑在分布式计算,他们连接着各种感知器官输入的数据,最关键的是大脑无需预训练,神经元自己生长就完成了学习,相当于把人造的用于训练的超级电脑和预测数据的电脑整合了。在科学家没有给大脑完成逆向工程之前,AGI 的进展还举步维艰。

千脑理论本质上是一种感觉-运动理论(Sensory-Motor Theory),它解释了我们如何通过看到、移动和感知三维空间来学习、识别物体。在该理论中,每个皮质柱都有完整物体的模型,因此知道在物体的每个位置应该感应到什么。如果一个柱子知道其输入的当前位置以及眼睛是如何移动的,那么它就可以预测新的位置以及它在那里将感应到什么。这就像看一张城镇地图,预测如果你开始朝某个方向走,你会看到什么一样。有没有觉得这个过程和 Tesla 的纯视觉自动驾驶的实现方法很像?感知、建模、预测和行动。

▪ 要像大脑一样学习

自我监督:新皮层的计算单位是皮质柱,每个柱子都是一个完整的感觉-运动系统,它获得输入,并能产生行为。比如说,一个物体移动时的未来位置,或者一句话中的下一个词,柱子都会预测它的下一次输入会是什么。预测是皮质柱测试和更新其模型的方法。如果结果和预测不同,这个错误的答案就会让大脑完成一次修正,这种方式就是自我监督。现在最前沿的神经网络正BERT、RoBERTa、XLM-R正在通过预先训练的系统来实现“自我监督”。

持续学习:大脑通过神经元组织来完成持续学习。当一个神经元学一个新的模式时,它在一个树突分支上形成新的突触。新的突触并不影响其他分支上先前学到的突触。因此,学新的东西不会迫使神经元忘记或修改它先前学到的东西。今天,大多数Al系统的人工神经元并没有这种能力,他们经历了一个漫长的训练,当完成后他们就被部署了。这就是它们不灵活的原因之一,灵活性要求不断调整以适应不断变化的条件和新知识。

多模型机制的:新皮层由数以万计的皮质柱组成,每根柱子都会学物体的模型,使多模型设计发挥作用的关键是投票。每一列都在一定程度上独立运作,但新皮层中的长距离连接允许各列对其感知的对象进行投票。智能机器的“大脑”也应该由许多几乎相同的元素(模型)组成,然后可以连接到各种可移动的传感器。

有自己的参考框架:大脑中的知识被储存在参考框架中。参考框架也被用来进行预测、制定计划和进行运动,当大脑每次激活参考框架中的一个位置并检索相关的知识时,就会发生思考。机器需要学会一个世界的模型,当我们与它们互动时,它们如何变化,以及彼此之间的相对位置,都需要参考框架来表示这类信息。它们是知识的骨干。

▪ 为什么需要通用人工智能(AGI)

AI将从我们今天看到的专用方案过渡到更多的通用方案,这些将在未来占据主导地位,Hawkins认为主要有两个原因:

第一个就和通用电脑战胜专用电脑的原因一样。通用电脑有更好的成效比,这导致了技术的更快进步。随着越来越多的人使用相同的设计,更多的努力被用于加强最受欢迎的设计和支持它们的生态系统,导致成本降低和性能的提升。这是算力指数式增长的基本驱动力,它塑造了二十世纪后半叶的工业和社会。

Al将通用化的第二个原因是,机器智能的一些最重要的未来应用将需要通用方案的灵活性,例如Elon Musk就希望可以有通用智能的机器人来帮忙探索火星。这些应用将需要处理很多无法预料的问题,并设计出新颖的解决方案,而今天的专用的Deep Learning模型还无法做到这一点。

(三)人工智能何时通用?

通用人工智能(AGI)这是AI领域的终极目标,应该也是人类发明了机器计算之后的终极进化方向。回顾机器之心 六十多年的进化,我们似乎找到了方法,就是模仿人类的大脑。Machine Learning要完成这块拼图,需要有数据、算力还有模型的改进。

数据―—应该是拼图中最容易实现的。按秒来计算,ImageNet数据集的大小已经接近人从出生到大学毕业视觉信号的数据量;Google 公司创建的新模型HN Detection,用来理解房屋和建筑物外墙上的街道号码的数据集大小,已经可以和人一生所获取的数据量所媲美。要像人类一样,使用更少的数据和更高的抽象来学习,才是神经网络的发展方向。

算力―—可以分解为两个部分:神经网络的参数(神经元的数量和连接)规模以及单位计算的成本。下图可以看到,人工神经网络与人脑的大小仍有数量级的差距,但它们在某些哺乳动物面前,已经具备竞争力了。

我们每花一美元所能得到的计算能力一直在呈指数级增长。现在大规模基础模型所用到的计算量每3.5个月就会翻一番。

有些人认为,由于物理学的限制,计算能力不能保持这种上升趋势。然而,过去的趋势并不支持这一理论。随着时间的推移,该领域的资金和资源也在增加,越来越多人才进入该领域,因为涌现的效应,会开发更好的软件(算法模型等)和硬件。而且,物理学的限制同样约束人脑的能力极限,所以AGI可以实现。

当AI变得比人类更聪明、我们称这一刻为奇点。一些人预测,奇点最快将于2045年到来。Nick Bostrom和Vincent C. Müller在2017年的一系列会议上对数百名AI专家进行了调查,奇点(或人类水平的机器智能)会在哪一年发生,得到的答复如下:

·乐观预测的年份中位数(可能性10%)-2022

·现实预测的年份中位数(可能性50%)-2040

·悲观预测的年份中位数(可能性90%)-2075

因此,在AI专家眼里很有可能在未来的20年内,机器就会像人类一样聪明。

这意味着对于每一项任务,机器都将比人类做得更好;当计算机超过人类时,一些人认为,他们就可以继续变得更好。换句话说,如果我们让机器和我们一样聪明,没有理由不相信它们能让自己变得更聪明,在一个不断改进的机器之心进化的螺旋中,会导致超级智能的出现。

▪ 从工具进化到数字生命

按照上面的专家预测,机器应该具有自我意识和超级智能。到那时,我们对机器意识的概念将有一些重大的转变,我们将面对真正的数字生命形式(DILIs – Digital Lifeforms)。

一旦你有了可以快速进化和自我意识的DILIs,围绕物种竞争会出现了一些有趣的问题。DILIs和人类之间的合作和竞争的基础是什么?如果你让一个有自我意识的DILIs能模拟疼痛,你是在折磨一个有感知的生命吗?

这些DILIs将能够在服务器上进行自我复制和编辑(应该假设在某个时候,世界上的大多数代码将由可以自我复制的机器来编写),这可能会加速它们的进化。想象一下,如果你可以同时创100,000,000个你自己的克隆体,修改你自己的不同方面,创建你自己的功能函数和选择标准,DILIs应该能够做到这一切(假设有足够的算力和能量资源)。关于DILIs这个有趣的话题在《Life 3.0》和《Superintelligence: Paths、Dangers、Strategies》这两本书中有详细的讨论。

这些问题可能比我们的预期来得更快。Elad Gil在他的最新文章《AI Revolution》提到OpenAI、Google和各种创业公司的核心AI研究人员都认为,真正的AGI还需要5到20年的时间才能实现,这也有可能会像自动驾驶一样永远都在五年后实现。不管怎样,人类最终面临的潜在生存威胁之一,就是与我们的数字后代竞争。

历史学家Thomas Kuhn在其著名的《The Structure of Scientific Revolutions》一书中认为,大多数科学进步是基于广泛接受的理论框架,他称之为科学范式。偶尔,一个既定的范式被推翻,被一个新的范式所取代-Kuhn称之为科学革命。我们正处在 AI 的智能革命之中!

本文地址:http://w.yusign.com/quote/6177.html    述古往 http://w.yusign.com/static/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关行情
推荐行情
点击排行
{
网站首页  |  关于我们  |  联系方式  |  用户协议  |  隐私政策  |  版权声明  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号