麻花星空影视在线看电视免费版,星空在线观看免费高清,天美麻花星空免费观看电视,星空影院电视免费看,星空无限传媒在线观看电视剧赘婿,星空影院免费观看电影

廣東省智能院類腦計(jì)算理論與器件研究團(tuán)隊(duì)提出脈沖神經(jīng)網(wǎng)絡(luò)自適應(yīng)突觸縮放算法
2024.04.03
      2024年3月27日,廣東省智能科學(xué)與技術(shù)研究院(簡(jiǎn)稱:廣東省智能院)類腦計(jì)算理論與器件研究團(tuán)隊(duì)在知名國(guó)際學(xué)術(shù)期刊《IEEE Transactions on Neural Networks and Learning Systems》上發(fā)表了題為“Adaptive Synaptic Scaling in Spiking Networks for Continual Learning and Enhanced Robustness”的論文。

      該研究提出了一種經(jīng)驗(yàn)依賴的自適應(yīng)突觸縮放機(jī)制用于脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程,在持續(xù)學(xué)習(xí)、抗干擾性實(shí)驗(yàn)和基于圖表征的學(xué)習(xí)任務(wù)方面呈現(xiàn)顯著優(yōu)勢(shì),有望加深對(duì)大腦穩(wěn)態(tài)突觸可塑性的理解,并促進(jìn)類腦算法在神經(jīng)形態(tài)硬件上的高效部署。

圖片1.png




穩(wěn)態(tài)突觸可塑性(Homeostatic Synaptic Plasticity)是一組經(jīng)驗(yàn)依賴的突觸強(qiáng)度特定變化的可塑性機(jī)制,對(duì)于大腦學(xué)習(xí)和記憶具有重要作用。其通過(guò)動(dòng)態(tài)調(diào)節(jié)突觸強(qiáng)度來(lái)穩(wěn)定神經(jīng)元或回路活動(dòng)。在細(xì)胞層面,研究表明,若單個(gè)神經(jīng)元能夠在特定時(shí)間內(nèi)評(píng)估其活動(dòng)強(qiáng)度,并據(jù)此動(dòng)態(tài)向上或向下調(diào)整其突觸權(quán)重,以使活動(dòng)水平接近預(yù)定義的設(shè)定值,那么即使面臨突觸強(qiáng)度和連通性的變化,網(wǎng)絡(luò)活動(dòng)也將展現(xiàn)出穩(wěn)定性。


同時(shí),新皮層神經(jīng)元發(fā)現(xiàn)突觸縮放機(jī)制,作為穩(wěn)態(tài)突觸可塑性的一種表現(xiàn)形式,能夠調(diào)整與神經(jīng)元相關(guān)的所有突觸的強(qiáng)度,通過(guò)倍數(shù)放縮保持激勵(lì)間的相對(duì)強(qiáng)度差異。穩(wěn)態(tài)突觸縮放一般通過(guò)調(diào)節(jié)AMPA受體在突觸處的傳遞或保留來(lái)調(diào)制連接強(qiáng)度。除了全局乘性調(diào)節(jié),突觸縮放還可以通過(guò)突觸特異性過(guò)程觸發(fā),從而實(shí)現(xiàn)對(duì)突觸強(qiáng)度的局部控制。

脈沖神經(jīng)網(wǎng)絡(luò)(SNN)被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò),具有豐富的時(shí)空動(dòng)力學(xué)特性。在SNN中,神經(jīng)元通過(guò)采用脈沖通信、事件驅(qū)動(dòng),僅對(duì)輸入脈沖事件作出響應(yīng),具有高效的資源利用率。


盡管SNN側(cè)重模擬生物神經(jīng)特性,但大部分模型缺乏復(fù)雜的動(dòng)力學(xué)特性和突觸變化的自適應(yīng)性,忽視了這種縮放機(jī)制的作用,這限制了SNN的學(xué)習(xí)效率和潛在應(yīng)用。將穩(wěn)態(tài)突觸縮放機(jī)制有效整合到SNN的學(xué)習(xí)范式中,仍是一個(gè)具有挑戰(zhàn)性的問(wèn)題。盡管一些研究將該機(jī)制融入SNN,通過(guò)強(qiáng)約束引導(dǎo)網(wǎng)絡(luò)活動(dòng)趨近于設(shè)定點(diǎn),但限制了學(xué)習(xí)的靈活性。近年來(lái),基于梯度學(xué)習(xí)的方法在SNN中廣泛應(yīng)用,實(shí)現(xiàn)了更高的性能。然而,突觸權(quán)重在每個(gè)訓(xùn)練周期中是靜態(tài)的,這使得SNN在受到擾動(dòng)或連續(xù)性場(chǎng)景中表現(xiàn)脆弱。因而在抗擾動(dòng)性和持續(xù)學(xué)習(xí)等任務(wù)中表現(xiàn)不佳。



圖片2.png



本研究提出了融合經(jīng)驗(yàn)依賴的自適應(yīng)突觸縮放機(jī)制的SNN學(xué)習(xí)框架,并設(shè)計(jì)了兩階段的學(xué)習(xí)過(guò)程:在前向路徑中,根據(jù)突觸前神經(jīng)元?dú)v史活動(dòng)累積的傳入刺激強(qiáng)度,為每個(gè)突觸觸發(fā)自適應(yīng)的短期增強(qiáng)或抑制。在反向路徑中,通過(guò)相應(yīng)的縮放因子調(diào)節(jié)的梯度信號(hào)執(zhí)行長(zhǎng)期鞏固。

該機(jī)制塑造了突觸的模式選擇性以及它們介導(dǎo)的信息傳遞。實(shí)驗(yàn)驗(yàn)證了該模型在持續(xù)學(xué)習(xí)、抗干擾測(cè)試和圖學(xué)習(xí)任務(wù)方面的顯著優(yōu)勢(shì)。此外,這種非參數(shù)自適應(yīng)機(jī)制不引入額外的可學(xué)習(xí)參數(shù),并且由于稀疏連接和活動(dòng)特性,保持了低計(jì)算成本??偟膩?lái)說(shuō),該工作為建模突觸縮放提供了一個(gè)有效的范式,有望挖掘和展示SNN在持續(xù)學(xué)習(xí)和魯棒學(xué)習(xí)中的巨大潛力。


      廣東省智能院類腦計(jì)算理論與器件研究團(tuán)隊(duì)徐明坤博士與清華大學(xué)類腦計(jì)算研究中心的劉發(fā)強(qiáng)博士為本文共同第一作者。該工作得到了廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃、科技創(chuàng)新2030-新一代人工智能、國(guó)家自然科學(xué)基金等項(xiàng)目的資助。


文章連接: 

https://ieeexplore.ieee.org/abstract/document/10479209




COPYRIGHT ? 2021

廣東省智能科學(xué)與技術(shù)研究院版權(quán)所有

粵ICP備2021109615號(hào) 全案策劃:KCCN

公眾號(hào)

公眾號(hào)

五寨县| 九台市| 磐石市| 贺兰县| 乐山市| 民权县| 安乡县| 八宿县| 察雅县| 温州市| 崇仁县| 龙游县| 田林县| 崇信县| 武义县| 霞浦县| 麻栗坡县| 海兴县| 旌德县| 策勒县| 临西县| 玛纳斯县| 汉寿县| 兴安盟| 满城县| 孝义市| 彩票| 秦安县| 淮阳县| 天台县| 布尔津县| 运城市| 台南县| 廉江市| 夏邑县| 泸西县| 莱阳市| 达日县| 岳池县| 新邵县| 万盛区|