多突觸神經元模型問世,國內團隊打造類腦計算新引擎

多突觸神經元模型問世,國內團隊打造類腦計算新引擎

文章圖片

多突觸神經元模型問世,國內團隊打造類腦計算新引擎

文章圖片

多突觸神經元模型問世,國內團隊打造類腦計算新引擎

文章圖片




本文第一作者為范良偉 , 國防科技大學講師 。 共同通訊作者分別為沈輝 , 國防科技大學教授;李國齊 , 中國科學院自動化研究所研究員、國家杰出青年基金獲得者;胡德文 , 國防科技大學教授、國家杰出青年基金獲得者、國防科技大學智能科學學院認知科學團隊創始人和帶頭人 , 2012、2018 年兩次獲國家自然科學獎二等獎 。

當前人工智能技術迅猛發展的同時 , 其高能耗問題也日益凸顯 。 脈沖神經網絡(Spiking Neural Networks SNNs)被認為是一種更具生物合理性、能效更高的計算范式 。

然而 , 目前業界仍缺乏一種在計算效率和生物合理性之間實現良好平衡的脈沖神經元模型 , 這成為制約 SNNs 發展與應用的關鍵問題之一 。

具體而言 , 現有的脈沖神經元模型 —— 包括泄漏積分發放(Leaky Integrate-and-Fire LIF)、自適應 LIF(Adaptive LIF ALIF)、霍奇金-赫胥黎(Hodgkin-Huxley HH)以及多室模型(Multi-compartment models)—— 主要關注于模擬神經元的動態行為 , 并假設神經元之間僅通過單個突觸(即單通道)連接 。

由于脈沖神經元的信息表示方式是二值化的 , 單通道連接方式使得 SNNs 難以同時編碼輸入信號的空間強度分布與時間動態性 。 這種信號編碼過程中出現的信息損失使得 SNNs 在時空計算任務中的性能難以匹敵甚至超越連續值人工神經網絡(ANNs) 。

近日 , 國防科技大學智能科學學院胡德文課題組與中國科學院自動化研究所李國齊課題組合作提出了一種新型脈沖神經元模型——多突觸發放(Multi-Synaptic Firing MSF)脈沖神經元 (下圖 1) 。


圖 1 多突觸脈沖神經元模型

【多突觸神經元模型問世,國內團隊打造類腦計算新引擎】該神經元模型兼具生物合理性和計算高效性 , 可以同時編碼輸入信號的時空動態信息 , 在不增加計算延遲或顯著功耗的前提下 , 能夠實現高性能的類腦計算 , 相關研究在線發表于《自然?通訊》(Nature Communications) 。



論?標題:A multisynaptic spiking neuron for simultaneously encoding spatiotemporal dynamics 作者:Liangwei Fan Hui Shen Xiangkai Lian Yulin Li Man Yao Guoqi Li and Dewen Hu 論?鏈接:https://www.nature.com/articles/s41467-025-62251-6 代碼鏈接:https://github.com/fanliangwei/Multisynaptic-spiking-neurons
研究概覽

本研究受到生物學中「多突觸連接」現象的啟發 , 即允許神經元的一個軸突在同一目標神經元上建立多個具有不同發放閾值的突觸 。 這種現象在多種生物大腦中廣泛存在 , 包括秀麗隱桿線蟲、果蠅、小鼠、大鼠以及人類大腦 。

通過這種結構 , MSF 神經元可實現時空信息的同時編碼:即借助不同突觸的瞬時發放率和精確的脈沖時序來同時編碼輸入信號的空間強度分布與時間動態 。

在理論層面上 , 該研究表明 MSF 神經元是一種通用且更精細的神經元抽象模型 , 傳統的 LIF 神經元和經典的 ReLU 神經元可視作其在某些具體參數下的特例 , 從而揭示了 ANNs 與 SNNs 之間的內在聯系 。

更重要的是 , 該研究進一步通過理論推導得到了最優的突觸閾值選擇方案 , 并提供了誤差反向傳播訓練替代梯度函數的參數優化準則 , 避免了深層 SNNs 模型訓練時出現梯度消失或爆炸問題 , 使基于 MSF 神經元構建的 SNNs 可擴展至大規模、深層模型而不發生性能退化 。

在實驗層面上 , 該研究首先通過信號重建任務 , 揭示了 MSF 神經元可通過獨立的頻率編碼與時間編碼方式 , 同時編碼輸入信號的空間強度分布與時間動態特性(下圖 2) 。 圖片和視頻重建結果表明 , 基于 MSF 神經元構建的脈沖自編碼模型重建出的圖像具有更好的紋理、顏色等細節信息 。


圖 2 信號重建任務

其次 , 在靜態與動態識別、基于圖像與事件流的目標檢測、腦機接口以及強化學習等多個基準任務上的大量實驗結果表明 , MSF 神經元憑借其優越的時空編碼能力 , 在不增加模型復雜度的前提下 , 性能相較于傳統 LIF 神經元取得了顯著提升 。

特別地 , 在連續事件流的時空計算任務中 , 基于 MSF 神經元構建的 SNNs 甚至超越了基于 ReLU 神經元構建的、具有相同網絡結構的 ANNs , 并展現出更高的能效比(下圖 3) 。


圖 3 靜態和動態識別任務

研究團隊已成功將 MSF 神經元模型部署于國產神經形態硬件平臺 , 并在真實自動駕駛場景下完成事件驅動的目標檢測任務 , 驗證了其在類腦計算芯片的硬件兼容性(下圖 4) 。

有趣的是 , 實驗還發現訓練后的模型在突觸數量分布上類似于觀察到的人類大腦皮層 , 進一步印證了該模型具備一定的生物學合理性與可解釋性 。


圖 4 神經形態硬件上的部署

總結

該成果推動了類腦計算向更復雜、更具自然智能的方向發展 , 為構建低功耗、高性能、可擴展的人工智能系統奠定了基礎 , 有望加速 SNNs 在邊緣計算與神經形態芯片等前沿領域中的實際落地與應用 。

研究團隊表示 , 未來將繼續探索 MSF 神經元在更廣泛任務中的應用潛力 , 助力人工智能技術邁向更加智能、綠色與可持續的發展方向 。

論文其它作者還包括國防科技大學連祥凱、李昱霖 , 中國科學院自動化研究所姚滿 。 相關工作得到了國家自然科學基金委重點項目、湖南省科技創新計劃項目等項目的支持 。

    推薦閱讀