龙空技术网

#一天一个AI知识点# 什么是类脑计算?

海伦不是AI 159

前言:

此时姐妹们对“类脑计算前景”大体比较关心,你们都需要分析一些“类脑计算前景”的相关资讯。那么小编也在网络上网罗了一些关于“类脑计算前景””的相关知识,希望各位老铁们能喜欢,看官们快快来学习一下吧!

名词解释

类脑计算又被称为神经形态计算(英文Neuromorphic Computing)。是借鉴生物神经系统信息处理模式和结构的计算理论、体系结构、芯片设计以及应用模型与算法的总称。类脑计算的概念最早由美国著名计算机专家卡弗·米德教授于 1989 年提出,当时并没有引起太多人的关注;直到 2004 年,这一概念才开始引起人们的关注。目前,类脑计算是计算机科学领域,尤其是人工智能方面备受关注的重要课题。

类脑计算系统是借鉴人脑信息处理方式,打破“冯·诺依曼”架构束缚,适于实时处理非结构化信息、具有自主学习能力的超低功耗新型计算系统。它将引领一次智能革命,必将在各个领域极大地拓展人类的智力活动范畴。类脑计算将引领一次智能革命,必将在各个领域极大拓展人类的智力活动范畴。类脑计算系统是人工通用智能的基石,是智能机器人的核心,拥有极为广阔的应用前景。

类脑计算是一门综合科学,它与生物学、物理学、数学、计算机科学和电子工程等都有关系。根据英国《经济学人》杂志的报道,欧洲类脑计算的领军人物、德国著名物理学家卡尔海因茨·梅尔教授认为,类脑计算的终极目标是开发出一种具备部分、甚至全部人脑拥有而普通计算机没有的特征的新型计算系统,该系统具有人工神经网络处理功能和脉冲神经网络处理功能。

人脑的功能非常强大,目前有许多仿真工作正在进行,但在传统计算机架构上进行神经形态计算(也被称为脉冲神经网络)的能耗非常高。事实上,微电子和生物大脑作为信息处理的物理平台,本身都是高能效的,因此构建新型计算机结构意义重大;更重要的是,神经形态计算系统的信息处理方式与人脑类似,是运算智能、感知智能、认知智能的主要研究平台,是当下脑科学的主要研究课题。

类脑计算的起源与发展

发轫于1956年的人工智能,作为一种发展了半个多世纪的技术,曾试图赋予计算机更多的类人智能,但至今仍未成功,更谈不上具有自主学习、想象创造等人类智能的高级特征。但现有的人工智能距离人们理想中的人工智能仍有一定差距,甚至在某些场合被调侃为“人工智障”。从根本上讲,这是现有计算机架构与人类大脑结构间并不相同的缘故。

不过,近年来,类脑计算却从理念走向实践,正走出一条制造类人智能的新途径。未来的计算机,或许真的越来越像人类“大脑”;实际上,人脑本身就是许多智能技术解决问题的灵感来源,它们通过机器学习,特别是深度学习来解决各种实际问题。

随着图像处理、模式识别、机器翻译、机器学习、信息检索、数据挖掘等一系列以智能为核心的应用加速兴起,传统的计算机愈发显得“力不从心”,人们也开启了比“曼哈顿计划”更具挑战性的“仿脑”和“造脑”计划——研制类脑计算机。所谓“类脑计算机”,就是指仿真、模拟和学习借鉴人脑的神经系统结构和信息处理过程,构建出具有学习能力的超低功耗新型计算系统。

美国IBM于2014年开发出与人脑类似的TrueNorth系统,该系统运用扮演神经元角色的模块化芯片。这种新型芯片并没有采用“冯·诺依曼”架构,而是模仿了人类大脑的神经元结构,它的计算效率和可扩展性都远胜今天的电子计算机。不过,《麻省理工学院科技评论》的一篇报道说,与传统的微处理器对比,TrueNorth芯片在处理数据方面要逊色一些,但是它在处理图像、声音和其它感官数据上都更有优势。

从上世纪冯·诺依曼把第一台通用计算机ENIAC改造为EDVAC后,人类使用的通用计算机都离不开冯·诺依曼架构。在冯·诺伊曼架构(如图1)中,计算单元和存储单元处于分离状态,数据由输入设备输入存储器,并通过指令将数据在存储器和运算器中频繁运输,最终输出至输出设备。而计算单元的速度远高于存储单元,两者的分离也使数据传输中产生大量功耗,同时也造成了信息处理中的速度瓶颈,这种现象被称为“内存墙”。

图 1冯·诺伊曼架构示意图

与现行计算机架构不同的是,人脑中并没有单独的“计算单元”和“存储单元”,所有的计算和存储功能都由10^11个神经元和10^15个神经突触完成。相对于冯·诺伊曼架构,人脑拥有两个巨大的优势:低功耗和低信息需求量。通过神经突触的可塑性,人脑能够以超低功耗(约20W)来处理大量信息,这个功率甚至小于普通的计算机CPU。有人戏称Alpha Go背后有1202个CPU、176个GPU和100多名科学家,单单功耗就在数百千瓦以上,而李世石只需要一个汉堡。同时,建立在冯·诺伊曼架构上的人工智能算法需要大量的数据来训练,比如为了区分猫和狗,计算机需要数以万计的图片来训练,而这样的算法也并不能将实物形象泛化到卡通形象上;但对于人来说,即便是蹒跚学步的儿童,也可以轻松的分辨出猫和狗,并能将实物猫的特点轻易地泛化到卡通猫形象上。

人脑与计算机另外一个巨大的不同点就是计算方式的不同。当前的通用计算机是一种数字电路,采用二进制计算,高电平表示1,低电平表示0;但人脑并非是一个“非0即1”的世界,而是一个由神经元之间的强度连续可变的突触连接来完成计算和记忆,这一点类似于将连续变化的模拟量作为被运算的对象的模拟计算机。

诚然,现阶段人们对人脑的理解仍然非常的浅显,但这种神经计算方式给了人们莫大的启发。能否模仿人脑的计算方式,采用一种全新的计算架构,进而达到人们理想中的人工智能呢? “类脑计算”这一概念随之应运而生。其实,冯·诺依曼早有将计算单元和存储单元合二为一的想法,只是囿于现有条件无法完成。这一概念最早在Carver Mead的文章《Neuromorphic electronic systems》中提及。类脑计算涉及到多个学科领域:神经科学从底层提供类脑计算的模型,而类脑计算系统也可以反过来模拟和研究生物神经系统;材料科学研究、制造能够模拟生物神经系统相似的新材料;计算机科学利用数字电路、模拟电路、数模混合电路和新材料新器件来构造系统,并开发由生物启发的新算法。广义上来讲,只要参照了生物神经系统和感知方式来设计的芯片,都可以称为“类脑芯片”。

类脑计算的革新性早已吸引了世界上众多研究者的目光。作为IT行业的“百年老店”IBM公司,2004年就开启了类脑项目的研究,并于2008年获得了来自美国国防部高级研究计划局(即大名鼎鼎的DARPA)的490万美元的资助(后累积至5600万美元)。随后数年间,IBM发布了数代名为TrueNorth的类脑芯片,性能也从虫脑提升到了小鼠大脑水平。同时段,国外也相继出现了由曼彻斯特大学开发的SpiNNaker、海德堡大学开发的BrainScale、Intel开发的Loihi、斯坦福大学开发的Neurogrid等诸多类脑芯片,功耗均处于瓦级。通过芯片之间的互联,这些类脑芯片能够模拟的神经元数量从100万到1亿不等,在某些特定领域甚至可以媲美1MW的超级计算机。

中国著名学者周海中教授曾经说过:“在脑科学中,谁能拔得头筹,就能率先夺得未来话语权。我国在类脑芯片方面起步较晚,但近两年进展迅速。利用国外多个产品多年未更新的时间窗口,浙江大学和清华大学分别发布了各自的类脑芯片产品,达尔文和天机。2019年发布的第二代达尔文芯片量级上已经达到了果蝇水准,并能够将792颗达尔文芯片互连起来,形成一个拥有1.2亿个仿真神经元和近千亿个神经突触连接的类脑计算机,并具有了专门的类脑操作系统。而清华大学的最新天机芯片最大的特点是具有算法的灵活性,并且采用了存算一体的架构。施路平教授在Nature上的文章《A system hierarchy for brain-inspired computing》,阐述了类脑计算的完备性,为类脑计算算法提供了理论指导。

在类脑芯片性能提升的同时,我们也应注意到,基于硅基材料的类脑芯片即便相较于传统GPU加速的人工智能架构在功耗上有了极大的提升,其效能依然远不及人脑。IBM的TrueNorth芯片中,平均需要5000个晶体管才能模拟一个神经元,而Intel的Loihi芯片更是需要1.6万个晶体管才能模拟一个神经元,这也大大增加了类脑芯片的设计难度。这时,一种新型的材料,忆阻材料,走进了人们的视线。忆阻材料做成的器件具有阻值可变且阻值非易失的特点,与生物体神经突触强度相似,理论上一个忆阻器就可以实现一个神经突触的功能,大大降低了类脑芯片的设计难度,是从硬件层面实现人工神经网络突出的最好方式。常见的忆阻器可以分为阻变忆阻材料、磁性忆阻材料、相变忆阻材料和其他新型忆阻材料等。对于忆阻材料,由于其可以仿真神经突触之间的突触强度,简化电路设计难度,所以从算法层面上可以更开放的探索各种不同的神经网络模型。反过来,各种人工智能算法也应改进甚至有革命性的更新以适应新型的类脑器件。

鉴于类脑计算的革新性,类脑计算问题已引起国际社会的普遍关注,世界上几个主要国家也在纷纷大力推进类脑计算的研究,成为当今科技的热点之一。例如,欧盟、英国、美国、日本、中国等先后推出脑科学计划,希望抢占未来科技的制高点、掌握未来战略的主动权。2013年,美国奥巴马政府推出了为期10年的“推进创新神经技术脑研究计划”(简称BRAIN),该计划年度投资4~6亿美元,涵盖了从生物脑到人脑机口到类脑智能等广泛领域,并被誉为媲美“人类基因组工程”。同年,由欧盟牵头,共26个国家和135家合作机构共同参与的“人类脑计划”(Human Brain Project,HBP)正式启动。该项目预期十年,拟投入13亿欧元,侧重于利用超级计算机来模拟人脑,实现人工智能。我国也早在2006年的《国家中长期科学和技术发展规划纲要》提出脑科学和认知科学,2016年至2017年,我国一系列科技规划中均提出加强类脑计算和部署脑科学与类脑计算重点专项。在“科技创新2030——重大项目”中,也明确部署脑科学与类脑研究。2021年1月19日,科技部发布了《科技创新2030—“脑科学与类脑研究”重大项目2020年度项目申报指南(征求意见稿)》,正式启动类脑计算中的重大项目。

类脑计算有什么实际应用呢?且不说如电影《终结者》般的科幻世界,即便是当前,类脑计算仍然有其实际的用途。类脑计算能够仿真人脑,相较于传统计算具有存算一体的特性,能够对采集到的数据进行实时处理,从而大大提高数据计算的效率。边缘计算是与云计算相对应的概念,是指数据无需数据中心即可在采集端完成计算的方式,能够显著降低计算延迟和运行功耗,被称为是“人工智能的最后一公里”。但现在的边缘计算仍然是基于传统计算方式,功耗上限制了进一步的大规模利用。而基于忆阻材料的类脑芯片,因其开关电压较低,能够显著降低边缘计算的功耗,使得大规模的推广成为可能。此外,由于边缘运算中数据无需上传云端,也降低了人们对隐私问题的担忧。同时,生物体的视觉、听觉、触觉、嗅觉等一系列外周感应器本身就是神经元的感觉神经末梢,这使得生物体的神经系统是一个天然的感存算一体系统。受此启发,人们可以研制出感存算一体器件,大大简化器件的复杂程度。

小结

类脑计算作为仿真大脑运行模式的计算方法,首先就需要对大脑的运行方式有彻底而详细的了解。但人类到目前为止对大脑的认知水平依然处在初级阶段。这需要计算机科学与神经科学紧密的联系方可达成。当前,基于硅基材料(CMOS)逻辑电路的类脑芯片工艺成熟,设计流程简单,但应用领域较为狭窄,大多数只能应用于特定领域;而忆阻材料天然适合于人工神经网络结构,但现在工艺仍不成熟,离实用化还有一定距离。而忆阻材料在模拟计算上的优势也会带来模拟计算中错误累积的问题,这需要相关算法的进一步改进。同时,虽然现在类脑计算仍处在初级阶段,神经伦理问题依然是需要考虑的重要因素。

类脑计算能够仿真人脑神经计算,是人们通向通用人工智能道路的上佳选择。目前,应充分利用现有的成熟工艺和技术,首先选取与微纳加工工艺相兼容的材料体系(如金属氧化物阻变材料)以实现快速突破。当前,各个大国都在开展脑科学和由脑科学启发的人工智能的研究,我国已明确将类脑智能列为十四五规划中重点发展的前沿科技领域,类脑计算领域有着广阔的前景。

类脑计算与深度学习的关系

现如今,谈起人工智能我们都会想到的是“深度学习”(deep learning),无论是战胜李世石的AlphaGo,还是能够随意写出人类水平文章的GPT-3,它们的背后都依托的是这套算法。

它具有很好的数学解释性,与现有的计算机架构完美匹配,但也存在需要大量数据训练、耗能巨大以及随之而来的产热惊人等问题,为此最前沿的研究者提出了“类脑计算”的概念,想要通过进一步模仿人类大脑的运行方式,重构计算机的底层架构,好让人工智能摆脱这种越好用成本越高的窘境。

目前,新兴的“类脑计算”还没有大规模应用,但各项研究已经取得了一定的突破,今天首席未来官特意为你梳理了“类脑计算”的底层原理,并通过与“深度学习”算法的对比,让你提前了解这个可能会颠覆未来计算机产业的新技术。

1.“深度学习”的原理

“深度学习”算法本质是对人类大脑视觉系统的模仿,因为人的视觉系统由很多层神经网络组成,层与层之间通过学习训练生成连接的通路,所以被称为“深度学习”。

深度学习算法虽然在层级上模拟了视觉系统,但受限于电脑结构中存储与运算分开的模式,做不到像人类的神经元一样将计算(神经元)和存储(突触)一体化,于是把神经元的运作方式抽象成了一个输入与输出结合的计算过程。

这就导致了原本一个神经元能够完成的任务,在计算机上需要大量的计算单位才能完成。2021年8月10日,在Neuron上发布的一项研究显示,人脑一个神经元的功能在深度算法中需要1000个以上的计算单元通过5到8层的深度网络实现。

2.先天缺陷带来的短板

由于需要大量计算单元才能实现单个人类神经元的功能,这就直接导致了深度学习要实现与人脑相似的功能复杂程度就会更高。

如今在语言模型上最强的GPT-3拥有1750亿个参数,做个简单推导也就相当于1.7亿个人类的脑神经元,而人脑的神经元个数在100亿左右,如果把人脑神经网络的复杂连接再算上,要完全模拟一个人脑出来的耗能将难以想象。

更多的计算单元也就意味着更大的能量消耗,同样拿GPT-3为例,它训练一次消耗的能量可以让一辆车在在地球与月球之间跑完一个来回,而只用来下围棋的Alpha Go仅计算单元的功率也有2000W的水平,与之相对的是坐它对面的李世石的大脑耗能只需要20W左右,是它的百分之一。

3.模仿神经元的“类脑计算”

为了解决深度学习的问题,科学家提出了进一步模拟人脑“神经元—突触”体系的“类脑计算”思路,分别从算法和硬件两方面探索打造“人工大脑”的方法。

算法层面上,目前的研究重点是“脉冲神经网络”(Spiking Neural Network,简称SNN),顾名思义就是模仿神经脉冲信号传递、运算的人工智能算法,SNN的最大优点在于,相较传统算法中每个计算单元始终处于活跃状态不同,其每个计算单元只有在接受或者发出信号时才被激活,同时它进行的只有加减运算,节省了运算资源也减小了求和量。

但脉冲本身的不连续性使得传统的人工智能训练模式并不能适用于它,所以其性能尽管理论上可以与深度学习算法相匹配,相应的训练模式还处于研究阶段。

硬件层面,类脑芯片也开始兴起,不再像传统计算机中的“冯·诺依曼架构”,把存储与计算功能分离,使得每次计算都要在内存和CPU上频繁调用数据,导致信息效率差、发热高,而是基于微电子技术和新型神经形态器件的结合,实现存储与计算的深度融合,使芯片能够进行异步、并行、低速和分布式处理信息数据,并具备自主感知、识别和学习的能力。

4.4款类脑芯片

·IBM TrueNorth(SyNAPSE芯片)

2014年8月,IBM公司推出了第二代类脑芯片“True North”,工艺进化到了28纳米,拥有了100万个可编程神经元和2.56亿个可编程数据传输通道。

这次最大的进步在于“神经突触内核架构”,让其中每个计算核心(神经元)都拥有了本地内存,工作方式已经非常类似人脑中的神经元,总功耗降低到了第一代的1%,体积是第一代的十五分之一。

·英特尔Loihi芯片Loihi芯片是英特尔的首款自学习神经元芯片,历时十年研究设计,可以像人类大脑一样,通过脉冲或尖峰传递信息,并自动调节突触强度,通过环境中的各种反馈信息,进行自主学习、下达指令。据英特尔的数据,该芯片内部包含了128个计算核心,每个核心集成1024个人工神经元,总计13.1万个神经元,彼此之间通过1.3亿个突触相互连接,运算规模和虾脑相当。·高通Zeroth芯片

Zeroth不需要预编程,通过正向强化的方式,提供了类似人类大脑多巴胺刺激的方式,让芯片具备了从周围环境获取反馈的能力,高通用装载该芯片的机器小车进行演示,使小车在自行启发算法下完成寻路、躲避障碍等任务。

·西井科技DeepSouth芯片

西井科技是一家中国公司,已推出了两款类脑芯片,其中DeepSouth拥有5000 万类脑神经元,总计有 50 亿的“神经突触”,可以直接在芯片上完成计算,不需要通过网络连接后台服务器,可在“无网络”情况下使用。

文章参考:

1、韩龙(作者单位:北京理工大学计算机学院)

2、姑苏实验室 王宏龙

标签: #类脑计算前景