麻花星空影视在线看电视免费版,星空在线观看免费高清,天美麻花星空免费观看电视,星空影院电视免费看,星空无限传媒在线观看电视剧赘婿,星空影院免费观看电影

廣東省智能院類腦計算理論與器件研究團隊提出脈沖神經(jīng)網(wǎng)絡(luò)自適應(yīng)突觸縮放算法
2024-04-03
      2024年3月27日,廣東省智能科學(xué)與技術(shù)研究院(簡稱:廣東省智能院)類腦計算理論與器件研究團隊在知名國際學(xué)術(shù)期刊《IEEE Transactions on Neural Networks and Learning Systems》上發(fā)表了題為“Adaptive Synaptic Scaling in Spiking Networks for Continual Learning and Enhanced Robustness”的論文。

      該研究提出了一種經(jīng)驗依賴的自適應(yīng)突觸縮放機制用于脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程,在持續(xù)學(xué)習(xí)、抗干擾性實驗和基于圖表征的學(xué)習(xí)任務(wù)方面呈現(xiàn)顯著優(yōu)勢,有望加深對大腦穩(wěn)態(tài)突觸可塑性的理解,并促進類腦算法在神經(jīng)形態(tài)硬件上的高效部署。

圖片1.png




穩(wěn)態(tài)突觸可塑性(Homeostatic Synaptic Plasticity)是一組經(jīng)驗依賴的突觸強度特定變化的可塑性機制,對于大腦學(xué)習(xí)和記憶具有重要作用。其通過動態(tài)調(diào)節(jié)突觸強度來穩(wěn)定神經(jīng)元或回路活動。在細胞層面,研究表明,若單個神經(jīng)元能夠在特定時間內(nèi)評估其活動強度,并據(jù)此動態(tài)向上或向下調(diào)整其突觸權(quán)重,以使活動水平接近預(yù)定義的設(shè)定值,那么即使面臨突觸強度和連通性的變化,網(wǎng)絡(luò)活動也將展現(xiàn)出穩(wěn)定性。


同時,新皮層神經(jīng)元發(fā)現(xiàn)突觸縮放機制,作為穩(wěn)態(tài)突觸可塑性的一種表現(xiàn)形式,能夠調(diào)整與神經(jīng)元相關(guān)的所有突觸的強度,通過倍數(shù)放縮保持激勵間的相對強度差異。穩(wěn)態(tài)突觸縮放一般通過調(diào)節(jié)AMPA受體在突觸處的傳遞或保留來調(diào)制連接強度。除了全局乘性調(diào)節(jié),突觸縮放還可以通過突觸特異性過程觸發(fā),從而實現(xiàn)對突觸強度的局部控制。

脈沖神經(jīng)網(wǎng)絡(luò)(SNN)被譽為第三代神經(jīng)網(wǎng)絡(luò),具有豐富的時空動力學(xué)特性。在SNN中,神經(jīng)元通過采用脈沖通信、事件驅(qū)動,僅對輸入脈沖事件作出響應(yīng),具有高效的資源利用率。


盡管SNN側(cè)重模擬生物神經(jīng)特性,但大部分模型缺乏復(fù)雜的動力學(xué)特性和突觸變化的自適應(yīng)性,忽視了這種縮放機制的作用,這限制了SNN的學(xué)習(xí)效率和潛在應(yīng)用。將穩(wěn)態(tài)突觸縮放機制有效整合到SNN的學(xué)習(xí)范式中,仍是一個具有挑戰(zhàn)性的問題。盡管一些研究將該機制融入SNN,通過強約束引導(dǎo)網(wǎng)絡(luò)活動趨近于設(shè)定點,但限制了學(xué)習(xí)的靈活性。近年來,基于梯度學(xué)習(xí)的方法在SNN中廣泛應(yīng)用,實現(xiàn)了更高的性能。然而,突觸權(quán)重在每個訓(xùn)練周期中是靜態(tài)的,這使得SNN在受到擾動或連續(xù)性場景中表現(xiàn)脆弱。因而在抗擾動性和持續(xù)學(xué)習(xí)等任務(wù)中表現(xiàn)不佳。



圖片2.png



本研究提出了融合經(jīng)驗依賴的自適應(yīng)突觸縮放機制的SNN學(xué)習(xí)框架,并設(shè)計了兩階段的學(xué)習(xí)過程:在前向路徑中,根據(jù)突觸前神經(jīng)元歷史活動累積的傳入刺激強度,為每個突觸觸發(fā)自適應(yīng)的短期增強或抑制。在反向路徑中,通過相應(yīng)的縮放因子調(diào)節(jié)的梯度信號執(zhí)行長期鞏固。

該機制塑造了突觸的模式選擇性以及它們介導(dǎo)的信息傳遞。實驗驗證了該模型在持續(xù)學(xué)習(xí)、抗干擾測試和圖學(xué)習(xí)任務(wù)方面的顯著優(yōu)勢。此外,這種非參數(shù)自適應(yīng)機制不引入額外的可學(xué)習(xí)參數(shù),并且由于稀疏連接和活動特性,保持了低計算成本??偟膩碚f,該工作為建模突觸縮放提供了一個有效的范式,有望挖掘和展示SNN在持續(xù)學(xué)習(xí)和魯棒學(xué)習(xí)中的巨大潛力。


      廣東省智能院類腦計算理論與器件研究團隊徐明坤博士與清華大學(xué)類腦計算研究中心的劉發(fā)強博士為本文共同第一作者。該工作得到了廣東省重點領(lǐng)域研發(fā)計劃、科技創(chuàng)新2030-新一代人工智能、國家自然科學(xué)基金等項目的資助。


文章連接: 

https://ieeexplore.ieee.org/abstract/document/10479209





COPYRIGHT ? 2021

廣東省智能科學(xué)與技術(shù)研究院版權(quán)所有

粵ICP備2021109615號 全案策劃:KCCN

公眾號

公眾號

金阳县| 大港区| 四子王旗| 舞钢市| 呼伦贝尔市| 房山区| 湖口县| 丽水市| 寻乌县| 山西省| 迁西县| 遵化市| 额尔古纳市| 翁牛特旗| 伊金霍洛旗| 仁怀市| 大英县| 高唐县| 乡宁县| 克拉玛依市| 延津县| 洛南县| 枣阳市| 三原县| 长沙市| 杂多县| 句容市| 黄陵县| 长白| 香港 | 昌平区| 独山县| 当阳市| 汶上县| 龙州县| 筠连县| 高州市| 武穴市| 科技| 民县| 东莞市|