穩(wěn)態(tài)突觸可塑性(Homeostatic Synaptic Plasticity)是一組經(jīng)驗依賴的突觸強度特定變化的可塑性機制,對于大腦學(xué)習(xí)和記憶具有重要作用。其通過動態(tài)調(diào)節(jié)突觸強度來穩(wěn)定神經(jīng)元或回路活動。在細胞層面,研究表明,若單個神經(jīng)元能夠在特定時間內(nèi)評估其活動強度,并據(jù)此動態(tài)向上或向下調(diào)整其突觸權(quán)重,以使活動水平接近預(yù)定義的設(shè)定值,那么即使面臨突觸強度和連通性的變化,網(wǎng)絡(luò)活動也將展現(xiàn)出穩(wěn)定性。
同時,新皮層神經(jīng)元發(fā)現(xiàn)突觸縮放機制,作為穩(wěn)態(tài)突觸可塑性的一種表現(xiàn)形式,能夠調(diào)整與神經(jīng)元相關(guān)的所有突觸的強度,通過倍數(shù)放縮保持激勵間的相對強度差異。穩(wěn)態(tài)突觸縮放一般通過調(diào)節(jié)AMPA受體在突觸處的傳遞或保留來調(diào)制連接強度。除了全局乘性調(diào)節(jié),突觸縮放還可以通過突觸特異性過程觸發(fā),從而實現(xiàn)對突觸強度的局部控制。
脈沖神經(jīng)網(wǎng)絡(luò)(SNN)被譽為第三代神經(jīng)網(wǎng)絡(luò),具有豐富的時空動力學(xué)特性。在SNN中,神經(jīng)元通過采用脈沖通信、事件驅(qū)動,僅對輸入脈沖事件作出響應(yīng),具有高效的資源利用率。
盡管SNN側(cè)重模擬生物神經(jīng)特性,但大部分模型缺乏復(fù)雜的動力學(xué)特性和突觸變化的自適應(yīng)性,忽視了這種縮放機制的作用,這限制了SNN的學(xué)習(xí)效率和潛在應(yīng)用。將穩(wěn)態(tài)突觸縮放機制有效整合到SNN的學(xué)習(xí)范式中,仍是一個具有挑戰(zhàn)性的問題。盡管一些研究將該機制融入SNN,通過強約束引導(dǎo)網(wǎng)絡(luò)活動趨近于設(shè)定點,但限制了學(xué)習(xí)的靈活性。近年來,基于梯度學(xué)習(xí)的方法在SNN中廣泛應(yīng)用,實現(xiàn)了更高的性能。然而,突觸權(quán)重在每個訓(xùn)練周期中是靜態(tài)的,這使得SNN在受到擾動或連續(xù)性場景中表現(xiàn)脆弱。因而在抗擾動性和持續(xù)學(xué)習(xí)等任務(wù)中表現(xiàn)不佳。
廣東省智能院類腦計算理論與器件研究團隊徐明坤博士與清華大學(xué)類腦計算研究中心的劉發(fā)強博士為本文共同第一作者。該工作得到了廣東省重點領(lǐng)域研發(fā)計劃、科技創(chuàng)新2030-新一代人工智能、國家自然科學(xué)基金等項目的資助。
文章連接:
https://ieeexplore.ieee.org/abstract/document/10479209
公眾號