應用

技術

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

破10萬億! 達摩院實現(xiàn)全球最大AI預訓練模型:遠超谷歌、微軟

2021-11-08 15:45 快科技

導讀:與傳統(tǒng)AI相比,大模型擁有成百上千倍“神經元”數(shù)量,且預先學習過海量知識,表現(xiàn)出像人類一樣“舉一反三”的學習能力。

在人工智能前沿領域,中國AI實現(xiàn)突破。

11月8日,阿里巴巴達摩院公布多模態(tài)大模型M6最新進展,其參數(shù)已從萬億躍遷至10萬億,規(guī)模遠超谷歌、微軟此前發(fā)布的萬億級模型,成為全球最大的AI預訓練模型。

同時,M6做到了業(yè)內極致的低碳高效,使用512 GPU在10天內即訓練出具有可用水平的10萬億模型。

相比去年發(fā)布的大模型GPT-3,M6實現(xiàn)同等參數(shù)規(guī)模,能耗僅為其1%。

M6是達摩院研發(fā)的通用性人工智能大模型,擁有多模態(tài)、多任務能力,其認知和創(chuàng)造能力超越傳統(tǒng)AI,尤其擅長設計、寫作、問答,在電商、制造業(yè)、文學藝術、科學研究等領域有廣泛應用前景。

與傳統(tǒng)AI相比,大模型擁有成百上千倍“神經元”數(shù)量,且預先學習過海量知識,表現(xiàn)出像人類一樣“舉一反三”的學習能力

因此,大模型被普遍認為是未來的“基礎模型”,將成下一代AI基礎設施。然而,其算力成本相當高昂,訓練1750億參數(shù)語言大模型GPT-3所需能耗,相當于汽車行駛地月往返距離。

今年5月,通過專家并行策略及優(yōu)化技術,達摩院M6團隊將萬億模型能耗降低超八成、效率提升近11倍。

10月,M6再次突破業(yè)界極限,通過更細粒度的CPU offload、共享-解除算法等創(chuàng)新技術,讓收斂效率進一步提升7倍,這使得模型規(guī)模擴大10倍的情況下,能耗未顯著增加。

這一系列突破極大降低了大模型研究門檻,讓一臺機器訓練出一個千億模型成為可能。

破10萬億! 達摩院實現(xiàn)全球最大AI預訓練模型:遠超谷歌、微軟

同時,達摩院聯(lián)合阿里云推出了M6服務化平臺,為大模型訓練及應用提供完備工具,首次讓大模型實現(xiàn)“開箱即用”,算法人員及普通用戶均可方便地使用平臺。

達摩院還推出了當前最大規(guī)模的中文多模態(tài)評測數(shù)據(jù)集MUGE,覆蓋圖文描述、文本生成圖像、跨模態(tài)檢索任務,填補了缺少中文多模態(tài)權威評測基準的空白。

破10萬億! 達摩院實現(xiàn)全球最大AI預訓練模型:遠超谷歌、微軟

作為國內首個商業(yè)化落地的多模態(tài)大模型,M6已在超40個場景中應用,日調用量上億。

今年,大模型首次支持雙11。M6在犀牛智造為品牌設計的服飾已在淘寶上線;憑借流暢的寫作能力,M6正為天貓?zhí)摂M主播創(chuàng)作劇本;依靠多模態(tài)理解能力,M6正在增進淘寶、支付寶等平臺的搜索及內容認知精度。

破10萬億! 達摩院實現(xiàn)全球最大AI預訓練模型:遠超谷歌、微軟

M6生成的未來感汽車圖

達摩院智能計算實驗室負責人周靖人表示,“接下來,我們將深入研究大腦認知機理,致力于將M6的認知力提升至接近人類的水平,比如,通過模擬人類跨模態(tài)的知識抽取和理解方式,構建通用的人工智能算法底層框架;另一方面,不斷增強M6在不同場景中的創(chuàng)造力,產生出色的應用價值?!?/p>

據(jù)了解,達摩院語言大模型PLUG近期也已升級至2萬億參數(shù),成為全球最大中文語言模型,其所屬AliceMind語言模型體系同樣推出了服務化平臺。