我國(guó)科學(xué)家開源深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架，比其他框架快11倍

脈沖神經(jīng)網(wǎng)絡(luò)被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò)，它既是神經(jīng)科學(xué)中研究大腦原理的基本工具，又因其超低功耗等特性備受關(guān)注。隨著深度學(xué)習(xí)方法的引入，脈沖深度學(xué)習(xí)成為新興研究熱點(diǎn)。傳統(tǒng)脈沖神經(jīng)網(wǎng)絡(luò)框架致力于構(gòu)建精細(xì)脈沖神經(jīng)元并仿真生物神經(jīng)系統(tǒng)，無法充分利用圖形處理器的大規(guī)模并行計(jì)算能力，也缺乏對(duì)神經(jīng)形態(tài)傳感器和計(jì)算芯片的支持。

為了解決上述問題，中國(guó)科學(xué)院自動(dòng)化研究所李國(guó)齊研究員與北京大學(xué)計(jì)算機(jī)學(xué)院田永鴻教授團(tuán)隊(duì)合作構(gòu)建并開源了深度脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架SpikingJelly（中文名：驚蜇）。“驚蜇”提供了全棧式的脈沖深度學(xué)習(xí)解決方案，支持神經(jīng)形態(tài)數(shù)據(jù)處理、深度脈沖神經(jīng)網(wǎng)絡(luò)的構(gòu)建、替代梯度訓(xùn)練等功能。相關(guān)論文于日前在《科學(xué)》子刊《科學(xué)進(jìn)展》在線發(fā)表。

脈沖深度學(xué)習(xí)作為計(jì)算神經(jīng)科學(xué)與深度學(xué)習(xí)的交叉學(xué)科，要求研究者同時(shí)掌握兩個(gè)領(lǐng)域的知識(shí)體系，但實(shí)際情況是研究者可能只對(duì)一個(gè)領(lǐng)域有深度了解。“驚蜇”框架提供了簡(jiǎn)單易用的教程、活躍友善的討論社區(qū)，也一并給出了常用的網(wǎng)絡(luò)模型和訓(xùn)練腳本，研究者可以快速進(jìn)行跨領(lǐng)域的學(xué)習(xí)和使用，通過寥寥數(shù)行代碼輕松構(gòu)建并訓(xùn)練深度脈沖神經(jīng)網(wǎng)絡(luò)。

研究者期望能夠自由地定義和擴(kuò)展新模型，僅需少量代碼改動(dòng)就對(duì)模型行為產(chǎn)生巨大改變。這一開發(fā)理念與“驚蜇”的設(shè)計(jì)哲學(xué)不謀而合，既為開發(fā)者降低了開發(fā)成本，也給用戶提供了定義新模型的范例。

深度學(xué)習(xí)涉及大規(guī)模數(shù)據(jù)處理、大尺度模型訓(xùn)練，脈沖深度學(xué)習(xí)亦不例外，對(duì)計(jì)算資源的需求更高。與來自英特爾、時(shí)識(shí)科技、加州大學(xué)圣克魯斯分校、海德堡大學(xué)、瑞典皇家理工學(xué)院等其他框架相比，“驚蜇”具有最快的仿真速度，比其他框架快11倍。

題圖來源：圖蟲 圖片編輯：曹立媛

來源：作者：黃海華