應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

摩爾線程開(kāi)源音頻理解大模型 MooER:基于國(guó)產(chǎn)全功能 GPU 訓(xùn)練和推理

2024-08-24 09:21 IT之家
關(guān)鍵詞:摩爾線程大模型MooER

導(dǎo)讀:摩爾線程開(kāi)源了音頻理解大模型 —MooER(摩耳),是業(yè)界首個(gè)基于國(guó)產(chǎn)全功能 GPU 進(jìn)行訓(xùn)練和推理的大型開(kāi)源語(yǔ)音模型。

  8 月 23 日消息,

  基于摩爾線程夸娥(KUAE)智算平臺(tái),MooER 大模型用 38 小時(shí)完成了 5000 小時(shí)音頻數(shù)據(jù)和偽標(biāo)簽的訓(xùn)練。

  MooER 不僅支持中文和英文的語(yǔ)音識(shí)別,還具備中譯英的語(yǔ)音翻譯能力。在 Covost2 中譯英測(cè)試集中,MooER-5K 取得了 25.2 的 BLEU 分?jǐn)?shù),接近工業(yè)級(jí)效果。

  摩爾線程 AI 團(tuán)隊(duì)在該工作中開(kāi)源了推理代碼和 5000 小時(shí)數(shù)據(jù)訓(xùn)練的模型,并計(jì)劃進(jìn)一步開(kāi)源訓(xùn)練代碼和基于 8 萬(wàn)小時(shí)數(shù)據(jù)訓(xùn)練的模型。

  MooER 的模型結(jié)構(gòu)包括 Encoder、Adapter 和 Decoder(Large Language Model,LLM)三個(gè)部分,具體的模型參數(shù)規(guī)模如下: