分析测试百科网

搜索

喜欢作者

微信支付微信支付
×

“自组织”让“电老虎”少吃多干

2021.11.08

云计算、大数据、人工智能等技术的快速发展和广泛应用,让这些领域成了“电老虎”。新思界产业研究中心的《2021年全球及中国数据中心加速器产业深度研究报告》预测,到2025年,仅全球数据中心消耗的电能将占全球总发电量的五分之一。

近日,中科院脑智卓越中心研究员徐波、蒲慕明联合研究团队在线发表于《科学进展》的研究,利用介观尺度自组织反向传播机制(SBP),在更高效率、更灵活的类脑局部学习方面取得了重要进展。该技术能在机器学习过程中,降低计算能耗的同时又不损失精度,也许能让这些“电老虎”少吃多干。

能耗的瓶颈

人工智能在某些领域表现出巨大的优势,比如在围棋方面,阿尔法狗(AlphaGo) 完胜人类世界围棋冠军;在电子游戏《星际争霸2》的竞技中,阿尔法星际(AlphaStar)以10:1的总比分“狂虐”职业玩家。

近年来,随着数据量越来越大、算力越来越强、大规模预训练模型对能源的要求也越来越高。据伦敦大学学院教授David Attwell团队对单个神经元耗能的计算,大脑的能耗约16.6瓦,对于人体而言, 大脑只需要不到20瓦的功率就可以应对复杂思考任务。与之相比,战胜柯洁的阿尔法狗,耗电量相当于12760个人类大脑。

“预训练模型的参数提高以后,人工智能的性能确实更强了,但能耗问题也不容忽视。”该论文第一作者、中国科学院自动化所副研究员张铁林对《中国科学报》说,“研究者普遍认为,人工智能的表现还应更好一些。比如,进行同样运算而消耗更少的能源。”

模拟人类大脑运行过程是人工智能的一个重要途径,在人工智能研究领域,目前人工神经网络中被广泛使用的反向传播算法(BP)采用全局优化策略,这种端到端的学习方法性能卓越,但学习过程能量消耗大,且缺乏灵活性。

“在精度不受影响的前提下,降低能耗是我们这项研究的目的之一。”徐波告诉《中国科学报》,“现在很多的算法、包括人工智能的大模型也远未达到人脑的参数量。大脑维持这么多神经元运算,其实是非常节能的。如果我们在算法设计之初,让机器能像人那样去学习,也许我们的模型就不必那么大,学习训练的时候也不会那么耗电。”

向大脑学习

“我们想借用一些生物学领域取得的进展,弄清楚大脑是怎么在低能耗的情况下高效学习的。”张铁林说,“所以蒲慕明老师给徐波老师团队推荐了很多算法,并保持着非常深入的合作研究。”

1997年,蒲慕明团队在《自然》杂志发表论文,揭示了海马体内神经元可以将长时程抑制(LTD)可塑性自组织地传播到三个方向,分别是突触前侧向传播、突触后侧向传播、反向传播,这个发现就是自组织反向传播神经可塑性机制(SBP)。

进一步的研究证实,SBP现象具有普遍性,不仅覆盖更多的神经区域如视网膜-顶盖系统,还覆盖更多的可塑性类型,如长时程增强。该机制的发生归结于生物神经元内分子调制信号的天然逆向传递,被认为是可能导致生物神经网络高效反馈学习的关键。

研究团队受到该机制的启发,对SBP的反向传播方向(第三个方向)单独构建数学模型,重点描述了神经元输出突触的可塑性可以反向传播到输入突触中,可塑性的发生可以通过时序依赖突触可塑性,也可以通过人工局部梯度调节。在标准三层脉冲神经网络(SNN)的学习过程中,SBP机制可以自组织地完成前一层网络权重的学习,且可以结合短时突触可塑性、膜电位平衡等,形成更强大的SNN组合学习方法。

由于涉及前沿生物技术,有很多生物机制计算机验证起来非常困难。

“蒲老师讲完这一机制,我们读完相关论文,刚开始觉得这个工作并不复杂。”张铁林说,“但真正应用到模型上时却困难重重、一筹莫展。”

张铁林等人是搞计算机研究的,读生物领域的论文比较难,“很多时候并不完全懂”。而且大脑中有多个关联机制,要不要跟SBP结合?要怎么结合?神经元的突触往前传多少?传给谁?有没有什么倾向性?所有这些问题都没有答案, 感觉“有很多缺失的信息需要去补”。

没有标准答案,研究人员只能先结合网络情况进行论证分析,再设置一个可优化的参数,用一些特殊的方法构建“能量函数”来约束一些变量,然后把这个机制放到脉冲网络里去验证。

然而经过多次尝试,结果却并不理想。他们只好在回过头来重新认识“生物学规则”。随着学习的深入,蒲慕明也建议他们做一些小实验来模仿类似生物的小网络。慢慢地,这种机制就逐步明确起来了。

“从科研的角度来讲,要先做减法,把它的重要性弄清楚、体现出来,后面再做加法,加更多的机制、变量和条件。”张铁林说,“目前我们只是在一些标准的简单模型上进行了验证。因为如果模型太复杂,会说不清楚SBP在其中到底贡献了什么。下一步我们会在更大规模的模型上进行验证。”

研究团队针对性地提出一种统计训练过程中能量消耗的新方法。在图片分类、语音识别、动态手势识别等多类标准数据集上,SBP机制通过组合其它可塑性机制,实现了更低能耗和更高精度的SNN局部学习。在一些人工网络的学习中,SBP机制也可以大量的替换BP机制实现全局和局部交叉学习,在降低计算能耗同时却不损失精度。

“自组织”的优势

“生物智能计算的本质,很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习,结合遗传演化赋予的远程投射网络结构,实现高效的全局优化学习效果。”蒲慕明告诉《中国科学报》,“该工作可以进一步引导生物和人工网络的深度融合,最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型。”

目前,反向传播机制已经是一种优化的结果,作为一种标准模型,它基本上覆盖了脉冲和人工网络模型,效果也不错。

“但其能耗和学习效率方面,还可以再优化一些,从各个尺度上再提升一下。”张铁林说,“我们在训练时,也采取混合式的训练方法,一部分采用BP(人工反向传播)的方法,一部分采取SBP(自组织反向传播)的方法。”

研究人员认为,SBP是一类介观尺度的特殊生物可塑性机制,具有自平衡、自组织、可传播等特点,因此在神经网络学习中可以展示出较好的组合优化优势。

“人工的反向传播算法靠整体目标函数去驱动,每次计算时既慢又耗能,特别是在网络比较大的时候,问题就更明显了。”张铁林说,“如果一个算法是自组织的,它就可以像大脑一样无监督学习,可以进行局部运算,就比较节能了。”

目前,该团队已经在一些小型、浅层的人工网络上做过测试。结果表明,最好的时候,可以在保持原来性能的基础上,把能耗降到原来的21%左右。

“比如,原来需要100块GPU去训练,现在只需要21块就够了。”张铁林说,“这在进行大模型训练的时候就比较重要了。”

SBP只是一个开始,它对进一步深入探索类脑局部计算具有很大的启示。

“将来还有很多和脑智卓越中心生物科学团队的交叉合作研究。”徐波说,“相信人工智能领域未来还有很大的进步空间,这些受生物启发的学习法则可以帮助人们更好地填补这些空白。”

中国科学报
文章推荐