<strong id="yhh5f"></strong>

  • <rp id="yhh5f"></rp>
    1. <th id="yhh5f"><track id="yhh5f"><sup id="yhh5f"></sup></track></th>

        <button id="yhh5f"><mark id="yhh5f"></mark></button>
        <progress id="yhh5f"><track id="yhh5f"></track></progress>

        <li id="yhh5f"><acronym id="yhh5f"></acronym></li>
          當前位置:首頁 > 新聞中心 > 媒體掃描

        媒體掃描

        【中國科學報】“自組織”讓“電老虎”少吃多干

      1. 發表日期:2021-11-09 【 【打印】【關閉】
      2.   云計算、大數據、人工智能等技術的快速發展和廣泛應用,讓這些領域成了“電老虎”。新思界產業研究中心的《2021年全球及中國數據中心加速器產業深度研究報告》預測,到2025年,僅全球數據中心消耗的電能將占全球總發電量的五分之一。

          近日,中科院腦智卓越中心研究員徐波、蒲慕明聯合研究團隊在線發表于《科學進展》的研究,利用介觀尺度自組織反向傳播機制(SBP),在更高效率、更靈活的類腦局部學習方面取得了重要進展。該技術能在機器學習過程中,降低計算能耗的同時又不損失精度,也許能讓這些“電老虎”少吃多干。

          能耗的瓶頸 

          人工智能在某些領域表現出巨大的優勢,比如在圍棋方面,阿爾法狗(AlphaGo) 完勝人類世界圍棋冠軍;在電子游戲《星際爭霸2》的競技中,阿爾法星際(AlphaStar)以10:1的總比分“狂虐”職業玩家。

          近年來,隨著數據量越來越大、算力越來越強、大規模預訓練模型對能源的要求也越來越高。據倫敦大學學院教授David Attwell團隊對單個神經元耗能的計算,大腦的能耗約16.6瓦,對于人體而言, 大腦只需要不到20瓦的功率就可以應對復雜思考任務。與之相比,戰勝柯潔的阿爾法狗,耗電量相當于12760個人類大腦。

          “預訓練模型的參數提高以后,人工智能的性能確實更強了,但能耗問題也不容忽視?!痹撜撐牡谝蛔髡?、中國科學院自動化所副研究員張鐵林對《中國科學報》說,“研究者普遍認為,人工智能的表現還應更好一些。比如,進行同樣運算而消耗更少的能源?!?/font>

          模擬人類大腦運行過程是人工智能的一個重要途徑,在人工智能研究領域,目前人工神經網絡中被廣泛使用的反向傳播算法(BP)采用全局優化策略,這種端到端的學習方法性能卓越,但學習過程能量消耗大,且缺乏靈活性。

          “在精度不受影響的前提下,降低能耗是我們這項研究的目的之一?!毙觳ǜ嬖V《中國科學報》,“現在很多的算法、包括人工智能的大模型也遠未達到人腦的參數量。大腦維持這么多神經元運算,其實是非常節能的。如果我們在算法設計之初,讓機器能像人那樣去學習,也許我們的模型就不必那么大,學習訓練的時候也不會那么耗電?!?/font>

          向大腦學習 

          “我們想借用一些生物學領域取得的進展,弄清楚大腦是怎么在低能耗的情況下高效學習的?!睆堣F林說,“所以蒲慕明老師給徐波老師團隊推薦了很多算法,并保持著非常深入的合作研究?!?/font>

          1997年,蒲慕明團隊在《自然》雜志發表論文,揭示了海馬體內神經元可以將長時程抑制(LTD)可塑性自組織地傳播到三個方向,分別是突觸前側向傳播、突觸后側向傳播、反向傳播,這個發現就是自組織反向傳播神經可塑性機制(SBP)。

          進一步的研究證實,SBP現象具有普遍性,不僅覆蓋更多的神經區域如視網膜-頂蓋系統,還覆蓋更多的可塑性類型,如長時程增強。該機制的發生歸結于生物神經元內分子調制信號的天然逆向傳遞,被認為是可能導致生物神經網絡高效反饋學習的關鍵。

          研究團隊受到該機制的啟發,對SBP的反向傳播方向(第三個方向)單獨構建數學模型,重點描述了神經元輸出突觸的可塑性可以反向傳播到輸入突觸中,可塑性的發生可以通過時序依賴突觸可塑性,也可以通過人工局部梯度調節。在標準三層脈沖神經網絡(SNN)的學習過程中,SBP機制可以自組織地完成前一層網絡權重的學習,且可以結合短時突觸可塑性、膜電位平衡等,形成更強大的SNN組合學習方法。

          由于涉及前沿生物技術,有很多生物機制計算機驗證起來非常困難。

          “蒲老師講完這一機制,我們讀完相關論文,剛開始覺得這個工作并不復雜?!睆堣F林說,“但真正應用到模型上時卻困難重重、一籌莫展?!?/font>

          張鐵林等人是搞計算機研究的,讀生物領域的論文比較難,“很多時候并不完全懂”。而且大腦中有多個關聯機制,要不要跟SBP結合?要怎么結合?神經元的突觸往前傳多少?傳給誰?有沒有什么傾向性?所有這些問題都沒有答案, 感覺“有很多缺失的信息需要去補”。

          沒有標準答案,研究人員只能先結合網絡情況進行論證分析,再設置一個可優化的參數,用一些特殊的方法構建“能量函數”來約束一些變量,然后把這個機制放到脈沖網絡里去驗證。

          然而經過多次嘗試,結果卻并不理想。他們只好在回過頭來重新認識“生物學規則”。隨著學習的深入,蒲慕明也建議他們做一些小實驗來模仿類似生物的小網絡。慢慢地,這種機制就逐步明確起來了。

          “從科研的角度來講,要先做減法,把它的重要性弄清楚、體現出來,后面再做加法,加更多的機制、變量和條件?!睆堣F林說,“目前我們只是在一些標準的簡單模型上進行了驗證。因為如果模型太復雜,會說不清楚SBP在其中到底貢獻了什么。下一步我們會在更大規模的模型上進行驗證?!?/font>

          研究團隊針對性地提出一種統計訓練過程中能量消耗的新方法。在圖片分類、語音識別、動態手勢識別等多類標準數據集上,SBP機制通過組合其它可塑性機制,實現了更低能耗和更高精度的SNN局部學習。在一些人工網絡的學習中,SBP機制也可以大量的替換BP機制實現全局和局部交叉學習,在降低計算能耗同時卻不損失精度。

          “自組織”的優勢 

          “生物智能計算的本質,很可能就是靈活融合多類微觀、介觀等可塑性機制的自組織局部學習,結合遺傳演化賦予的遠程投射網絡結構,實現高效的全局優化學習效果?!逼涯矫鞲嬖V《中國科學報》,“該工作可以進一步引導生物和人工網絡的深度融合,最終實現能效比高、可解釋性強、靈活度高的新一代人工智能模型?!?/font>

          目前,反向傳播機制已經是一種優化的結果,作為一種標準模型,它基本上覆蓋了脈沖和人工網絡模型,效果也不錯。

          “但其能耗和學習效率方面,還可以再優化一些,從各個尺度上再提升一下?!睆堣F林說,“我們在訓練時,也采取混合式的訓練方法,一部分采用BP(人工反向傳播)的方法,一部分采取SBP(自組織反向傳播)的方法?!?/font>

          研究人員認為,SBP是一類介觀尺度的特殊生物可塑性機制,具有自平衡、自組織、可傳播等特點,因此在神經網絡學習中可以展示出較好的組合優化優勢。

          “人工的反向傳播算法靠整體目標函數去驅動,每次計算時既慢又耗能,特別是在網絡比較大的時候,問題就更明顯了?!睆堣F林說,“如果一個算法是自組織的,它就可以像大腦一樣無監督學習,可以進行局部運算,就比較節能了?!?/font>

          目前,該團隊已經在一些小型、淺層的人工網絡上做過測試。結果表明,最好的時候,可以在保持原來性能的基礎上,把能耗降到原來的21%左右。

          “比如,原來需要100塊GPU去訓練,現在只需要21塊就夠了?!睆堣F林說,“這在進行大模型訓練的時候就比較重要了?!?/font>

          SBP只是一個開始,它對進一步深入探索類腦局部計算具有很大的啟示。

          “將來還有很多和腦智卓越中心生物科學團隊的交叉合作研究?!毙觳ㄕf,“相信人工智能領域未來還有很大的進步空間,這些受生物啟發的學習法則可以幫助人們更好地填補這些空白?!?/font>

         

          相關論文信息:https://www.science.org/doi/10.1126/sciadv.abh0146