技術(shù)
導(dǎo)讀:未來驅(qū)動(dòng)人工智能的一些最佳電路可能是模擬的,而不是數(shù)字的,世界各地的研究團(tuán)隊(duì)正在越來越多地開發(fā)新設(shè)備來支持這種模擬人工智能。
未來驅(qū)動(dòng)人工智能的一些最佳電路可能是模擬的,而不是數(shù)字的,世界各地的研究團(tuán)隊(duì)正在越來越多地開發(fā)新設(shè)備來支持這種模擬人工智能。
推動(dòng)當(dāng)前 AI 爆炸式增長的深度神經(jīng)網(wǎng)絡(luò)中最基本的計(jì)算是乘法累加 (MAC) 操作。深度神經(jīng)網(wǎng)絡(luò)由人工神經(jīng)元層組成,在 MAC 操作中,這些層中每一層的輸出乘以它們與下一層連接的強(qiáng)度或“權(quán)重”的值,然后將這些貢獻(xiàn)相加.
現(xiàn)代計(jì)算機(jī)具有專門用于 MAC 操作的數(shù)字組件,但理論上模擬電路可以以少幾個(gè)數(shù)量級(jí)的功耗來執(zhí)行這些計(jì)算。這種策略(稱為模擬人工智能、內(nèi)存計(jì)算或內(nèi)存處理)通常使用非易失性存儲(chǔ)設(shè)備(例如閃存、磁阻 RAM (MRAM)、電阻 RAM (RRAM)、相位)執(zhí)行這些乘法累加運(yùn)算- 更改內(nèi)存 (PCM)和更深?yuàn)W的技術(shù)。
然而,韓國的一個(gè)團(tuán)隊(duì)正在探索基于鐠鈣錳氧化物電化學(xué) RAM (ECRAM)設(shè)備的神經(jīng)網(wǎng)絡(luò),該設(shè)備的作用類似于微型電池,以電導(dǎo)變化的形式存儲(chǔ)數(shù)據(jù)。韓國浦項(xiàng)科技大學(xué)的研究主要作者 Chuljun Lee 指出,神經(jīng)網(wǎng)絡(luò)硬件在訓(xùn)練和應(yīng)用期間通常有不同的需求。例如,low energy barriers有助于神經(jīng)網(wǎng)絡(luò)快速學(xué)習(xí),但high energy barriers 有助于它們保留學(xué)到的知識(shí)以供在應(yīng)用中使用。
“在訓(xùn)練期間將他們的設(shè)備加熱到接近 100 攝氏度的溫度會(huì)產(chǎn)生有利于訓(xùn)練的特性,”電氣工程師John Paul Strachan說,他是德國 Jülich 研究中心的Peter Grünberg 神經(jīng)形態(tài)計(jì)算節(jié)點(diǎn)研究所的負(fù)責(zé)人。不參與本研究。“當(dāng)它冷卻時(shí),他們獲得了更長的保留時(shí)間和更低的運(yùn)行電流的優(yōu)勢(shì)。只需調(diào)整一個(gè)旋鈕,熱量,他們就可以看到計(jì)算的多個(gè)維度的改進(jìn)?!?/p>
研究人員在12 月 14 日在舊金山舉行的年度 IEEE國際電子設(shè)備會(huì)議(IEDM) 上詳細(xì)介紹了他們的發(fā)現(xiàn)。
Strachan 指出,這項(xiàng)工作面臨的一個(gè)關(guān)鍵問題是,在經(jīng)過多次加熱和冷卻循環(huán)后,ECRAM 可能會(huì)面臨什么樣的惡化。盡管如此,“這是一個(gè)非常有創(chuàng)意的想法,他們的工作證明了這種方法可能具有一些潛力?!?/p>
另一組研究了鐵電場(chǎng)效應(yīng)晶體管 (FEFET)。研究主要作者、圣母大學(xué)的 Khandker Akif Aabrar 解釋說,F(xiàn)EFET 在每個(gè)晶體管內(nèi)以電極化的形式存儲(chǔ)數(shù)據(jù)。
FEFET 面臨的一個(gè)挑戰(zhàn)是,當(dāng)它們縮小時(shí),它們是否仍然可以顯示對(duì) AI 應(yīng)用程序有價(jià)值的模擬行為,或者它們是否會(huì)突然切換到只存儲(chǔ)一位信息的二進(jìn)制模式,極化狀態(tài)為一種狀態(tài)或另一種狀態(tài).
“這個(gè)團(tuán)隊(duì)工作的優(yōu)勢(shì)在于他們對(duì)所涉及材料的洞察力,”沒有參與這項(xiàng)研究的 Strachan 說。“鐵電材料可以被認(rèn)為是由許多小域組成的塊,就像鐵磁體可以被認(rèn)為是上下域一樣。對(duì)于他們想要的模擬行為,他們希望所有這些域慢慢地向上或向下對(duì)齊響應(yīng)施加的電場(chǎng),而不是出現(xiàn)它們同時(shí)上升或下降的失控過程。因此,他們用多個(gè)介電層物理分解了鐵電超晶格結(jié)構(gòu),以減少這種失控過程?!?/p>
該系統(tǒng)實(shí)現(xiàn)了 94.1% 的在線學(xué)習(xí)準(zhǔn)確率,與其他 FEFET 和 RRAM 技術(shù)相比非常好,科學(xué)家們?cè)?12 月 14 日在 IEDM 會(huì)議上詳細(xì)介紹了這一發(fā)現(xiàn)。Strachan 指出,未來的研究可以尋求優(yōu)化屬性,例如當(dāng)前水平。
日本和臺(tái)灣科學(xué)家使用c軸排列的結(jié)晶銦鎵鋅氧化物制成 的新型微芯片. 研究合著者日本半導(dǎo)體能源實(shí)驗(yàn)室公司的 Satoru Ohshita 指出,他們的氧化物半導(dǎo)體場(chǎng)效應(yīng)晶體管 (OSFET) 顯示出每單元低于 1 納安的超低電流操作和每瓦每秒 143.9 萬億次操作的操作效率12 月 14 日在 IEDM 會(huì)議上詳細(xì)介紹的研究結(jié)果,是迄今為止模擬 AI 芯片中報(bào)告的最好成績。
“這些是極低電流的設(shè)備,”Strachan 說?!坝捎谒璧碾娏魅绱酥?,您可以將電路塊做得更大——它們獲得 512 x 512 個(gè)存儲(chǔ)單元的陣列,而 RRAM 的典型數(shù)字更像是 100 x 100。這是一個(gè)巨大的勝利,因?yàn)楦蟮膲K得到了二次方它們存儲(chǔ)的權(quán)重具有優(yōu)勢(shì)。“當(dāng) OSFET 與電容器結(jié)合時(shí),他們可以在 30 小時(shí)內(nèi)以超過 90% 的準(zhǔn)確率保留信息?!斑@可能足以將這些信息轉(zhuǎn)移到一些波動(dòng)較小的技術(shù)上——幾十個(gè)小時(shí)的保留并不是一個(gè)交易破壞者,”斯特拉坎說。
總而言之,“研究人員正在探索的這些新技術(shù)都是概念案例的證明,這些案例提出了關(guān)于他們未來可能面臨的挑戰(zhàn)的新問題,”斯特拉坎說。“他們還展示了通往代工廠的道路,他們需要大批量、低成本的商業(yè)產(chǎn)品?!?/p>