穩(wěn)態(tài)突觸可塑性(Homeostatic Synaptic Plasticity)是一組經(jīng)驗(yàn)依賴的突觸強(qiáng)度特定變化的可塑性機(jī)制,對(duì)于大腦學(xué)習(xí)和記憶具有重要作用。其通過(guò)動(dòng)態(tài)調(diào)節(jié)突觸強(qiáng)度來(lái)穩(wěn)定神經(jīng)元或回路活動(dòng)。在細(xì)胞層面,研究表明,若單個(gè)神經(jīng)元能夠在特定時(shí)間內(nèi)評(píng)估其活動(dòng)強(qiáng)度,并據(jù)此動(dòng)態(tài)向上或向下調(diào)整其突觸權(quán)重,以使活動(dòng)水平接近預(yù)定義的設(shè)定值,那么即使面臨突觸強(qiáng)度和連通性的變化,網(wǎng)絡(luò)活動(dòng)也將展現(xiàn)出穩(wěn)定性。
同時(shí),新皮層神經(jīng)元發(fā)現(xiàn)突觸縮放機(jī)制,作為穩(wěn)態(tài)突觸可塑性的一種表現(xiàn)形式,能夠調(diào)整與神經(jīng)元相關(guān)的所有突觸的強(qiáng)度,通過(guò)倍數(shù)放縮保持激勵(lì)間的相對(duì)強(qiáng)度差異。穩(wěn)態(tài)突觸縮放一般通過(guò)調(diào)節(jié)AMPA受體在突觸處的傳遞或保留來(lái)調(diào)制連接強(qiáng)度。除了全局乘性調(diào)節(jié),突觸縮放還可以通過(guò)突觸特異性過(guò)程觸發(fā),從而實(shí)現(xiàn)對(duì)突觸強(qiáng)度的局部控制。
脈沖神經(jīng)網(wǎng)絡(luò)(SNN)被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò),具有豐富的時(shí)空動(dòng)力學(xué)特性。在SNN中,神經(jīng)元通過(guò)采用脈沖通信、事件驅(qū)動(dòng),僅對(duì)輸入脈沖事件作出響應(yīng),具有高效的資源利用率。
盡管SNN側(cè)重模擬生物神經(jīng)特性,但大部分模型缺乏復(fù)雜的動(dòng)力學(xué)特性和突觸變化的自適應(yīng)性,忽視了這種縮放機(jī)制的作用,這限制了SNN的學(xué)習(xí)效率和潛在應(yīng)用。將穩(wěn)態(tài)突觸縮放機(jī)制有效整合到SNN的學(xué)習(xí)范式中,仍是一個(gè)具有挑戰(zhàn)性的問(wèn)題。盡管一些研究將該機(jī)制融入SNN,通過(guò)強(qiáng)約束引導(dǎo)網(wǎng)絡(luò)活動(dòng)趨近于設(shè)定點(diǎn),但限制了學(xué)習(xí)的靈活性。近年來(lái),基于梯度學(xué)習(xí)的方法在SNN中廣泛應(yīng)用,實(shí)現(xiàn)了更高的性能。然而,突觸權(quán)重在每個(gè)訓(xùn)練周期中是靜態(tài)的,這使得SNN在受到擾動(dòng)或連續(xù)性場(chǎng)景中表現(xiàn)脆弱。因而在抗擾動(dòng)性和持續(xù)學(xué)習(xí)等任務(wù)中表現(xiàn)不佳。
廣東省智能院類腦計(jì)算理論與器件研究團(tuán)隊(duì)徐明坤博士與清華大學(xué)類腦計(jì)算研究中心的劉發(fā)強(qiáng)博士為本文共同第一作者。該工作得到了廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃、科技創(chuàng)新2030-新一代人工智能、國(guó)家自然科學(xué)基金等項(xiàng)目的資助。
文章連接:
https://ieeexplore.ieee.org/abstract/document/10479209
公眾號(hào)