技術(shù)
導(dǎo)讀:近日,美格智能發(fā)揮軟硬件一體協(xié)同開(kāi)發(fā)能力,融合阿加犀卓越的AI優(yōu)化部署技術(shù),在搭載高通QCS8550平臺(tái)的高算力AI模組上,成功運(yùn)行了一系列大語(yǔ)言模型,包括LLaMA-2、通義千問(wèn)Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展現(xiàn)出卓越的邊緣端大模型部署能力。
近日,美格智能發(fā)揮軟硬件一體協(xié)同開(kāi)發(fā)能力,融合阿加犀卓越的AI優(yōu)化部署技術(shù),在搭載高通QCS8550平臺(tái)的高算力AI模組上,成功運(yùn)行了一系列大語(yǔ)言模型,包括LLaMA-2、通義千問(wèn)Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展現(xiàn)出卓越的邊緣端大模型部署能力。
▌構(gòu)建智算底座,加速大模型端側(cè)部署
大模型和生成式AI的浪潮席卷全球,帶來(lái)人工智能新紀(jì)元。大模型誕生之初主要是與云端綁定,而隨著應(yīng)用場(chǎng)景的拓展,AI開(kāi)始賦能千行百業(yè),大模型也需要在越來(lái)越多的終端設(shè)備上運(yùn)行。如果說(shuō)生成式AI是正在高速向前行駛的列車,那算力就是燃料。終端側(cè)AI的落地應(yīng)用,離不開(kāi)硬件和設(shè)備算力的升級(jí)。
今年,高通推出了AI算力芯片QCS8550,整合了強(qiáng)大的NPU算力和邊緣側(cè)AI處理技術(shù)、Wi-Fi 7連接技術(shù)以及增強(qiáng)型圖形和視頻處理能力,提供高速、低功耗的AI計(jì)算平臺(tái),為終端側(cè)AI賦能。
基于高通QCS8550芯片平臺(tái),美格智能推出了高算力AI模組SNM970,綜合AI算力高達(dá)48Tops,并支持混合精度計(jì)算,為IoT設(shè)備打造全新的智算底座。高算力AI模組是承載端側(cè)AI無(wú)限創(chuàng)造空間的最佳形式,為海量碎片化場(chǎng)景提供穩(wěn)定的通信能力和強(qiáng)大的邊緣算力,讓終端開(kāi)發(fā)者能夠基于標(biāo)準(zhǔn)化的模組完成低成本、短流程的產(chǎn)品設(shè)計(jì)和制造,降低大模型的開(kāi)發(fā)和使用成本。
另一方面,AI從芯片到應(yīng)用還需要解決跨平臺(tái)遷移、異構(gòu)芯片效率丟失、碎片化的場(chǎng)景需求等挑戰(zhàn)。阿加犀具備成熟的AidLux平臺(tái)和行業(yè)領(lǐng)先的開(kāi)箱即用AI工具鏈,能夠全面提升邊緣設(shè)備的AI性能和模型執(zhí)行效率,為AI項(xiàng)目在豐富場(chǎng)景中快速落地提供專業(yè)支持,進(jìn)一步推動(dòng)AI應(yīng)用的終端部署。
此次,美格智能高算力AI模組產(chǎn)品團(tuán)隊(duì)攜手阿加犀,在基于高通驍龍800系列平臺(tái)的自研高算力AI模組上成功運(yùn)行一系列大語(yǔ)言模型,成功驗(yàn)證了算力模組作為未來(lái)大模型邊緣AI算力底座的通用性,對(duì)邊緣端生成式AI的支持進(jìn)一步成熟,有望將生成式AI拓展至更多領(lǐng)域。
美格智能提供具備出色能效比、強(qiáng)大的計(jì)算能力的算力模組,結(jié)合阿加犀獨(dú)有的AI工具鏈帶來(lái)的領(lǐng)先的SoC性能調(diào)度能力,二者強(qiáng)強(qiáng)聯(lián)合發(fā)揮出模組的極致性能,讓多個(gè)參數(shù)達(dá)70億的語(yǔ)言大模型,包括LLaMA-2、通義千問(wèn)Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,都能在算力模組上保持高效運(yùn)行。
▌高算力AI模組,讓AI觸手可及
美格智能高算力AI模組產(chǎn)品專為終端側(cè)、邊緣側(cè)AI應(yīng)用設(shè)計(jì),依靠強(qiáng)大的軟硬件一體研發(fā)能力,美格智能持續(xù)推進(jìn)高算力AI模組的AI硬件不斷升級(jí),至今已經(jīng)歷經(jīng)多代產(chǎn)品演進(jìn),涵蓋入門級(jí)、中端、旗艦級(jí)多層次產(chǎn)品,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,對(duì)應(yīng)AI算力覆蓋14Tops~48Tops。
同時(shí),美格智能研發(fā)團(tuán)隊(duì)在AI應(yīng)用場(chǎng)景開(kāi)發(fā)、AI性能優(yōu)化和AI低功耗程序研發(fā)等領(lǐng)域的設(shè)計(jì)研發(fā)能力處于行業(yè)領(lǐng)先水平,相關(guān)算力產(chǎn)品在各類核心場(chǎng)景大規(guī)模應(yīng)用,讓智慧零售、智能機(jī)器人、智慧交通、智慧農(nóng)業(yè)、智能制造等各行各業(yè)快速于邊緣端部署大模型,以AI驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新。
針對(duì)AI邊緣計(jì)算領(lǐng)域,美格智能基于高算力AI模組SNM972,助力客戶打造SoC陣列服務(wù)器產(chǎn)品。該模組采用MiniPCIe封裝方式,支持16GB LPDDR5X + 256GB UFS 4.0內(nèi)存,并支持混合精度計(jì)算,支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架,可輕松賦能各類AI場(chǎng)景。
方案中每個(gè)算力節(jié)點(diǎn)采用刀片+陣列式設(shè)計(jì),內(nèi)部實(shí)現(xiàn)模塊化及熱插拔設(shè)計(jì),可以實(shí)現(xiàn)不停機(jī)維護(hù)。最高可配置80路算力模組,單顆模組內(nèi)部支持Android虛擬化,可虛擬出多路計(jì)算單元,更好地進(jìn)行算力配置,為實(shí)時(shí)互動(dòng)云計(jì)算、邊緣AI云計(jì)算、云渲染等業(yè)務(wù)場(chǎng)景提供最佳算力底座。
AI正在改變世界,美格智能始終以市場(chǎng)需求為導(dǎo)向,與合作伙伴緊密合作,圍繞高算力AI模組打造更多適配行業(yè)的解決方案,拉近大模型和應(yīng)用之間的距離,把握智慧先機(jī),實(shí)現(xiàn)讓AI觸手可及的目標(biāo),賦能數(shù)字經(jīng)濟(jì)發(fā)展。