應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊(cè)個(gè)人注冊(cè)登錄

AI 芯片供應(yīng)問(wèn)題緩解,消息稱部分公司開始轉(zhuǎn)售英偉達(dá) H100 GPU

2024-02-28 09:03 IT之家
關(guān)鍵詞:AI芯片

導(dǎo)讀:用于人工智能 (AI) 和高性能計(jì)算 (HPC) 應(yīng)用的英偉達(dá) H100 GPU 交貨周期大幅縮短,從之前的 8-11 個(gè)月縮減至僅 3-4 個(gè)月。

  2 月 27 日消息,據(jù)報(bào)道,用于人工智能 (AI) 和高性能計(jì)算 (HPC) 應(yīng)用的英偉達(dá) H100 GPU 交貨周期大幅縮短,從之前的 8-11 個(gè)月縮減至僅 3-4 個(gè)月。這導(dǎo)致一些囤貨的公司正在試圖出售其過(guò)剩的 H100 80GB 處理器,因?yàn)楝F(xiàn)在從亞馬遜云服務(wù)、谷歌云和微軟 Azure 等大型公司租用芯片更加方便。

image.png

  據(jù) The Information 報(bào)道稱,由于稀缺性降低以及維護(hù)未使用庫(kù)存的高昂成本,一些公司正在轉(zhuǎn)售其 H100 GPU 或減少訂單,這與去年?duì)幭鄵屬?gòu)英偉達(dá) Hopper GPU 形成鮮明對(duì)比。盡管芯片可用性改善且交貨周期顯著縮短,但報(bào)道稱,對(duì) AI 芯片的需求仍然超過(guò)供給,尤其是一些訓(xùn)練大型語(yǔ)言模型 (LLM) 的公司,例如 OpenAI。

  云服務(wù)提供商(CSP)例如亞馬遜 AWS 提供按需租用 H100 GPU 的服務(wù),緩解了部分需求壓力,縮短了等待時(shí)間。

  然而,由于訓(xùn)練大型語(yǔ)言模型需要成千上萬(wàn)的 GPU,因此此類公司仍面臨供應(yīng)瓶頸,有時(shí)需要等待數(shù)月才能獲得所需的處理能力。因此,英偉達(dá) H100 等處理器的價(jià)格并未下降,公司仍保持著高利潤(rùn)率。

  IT之家注意到,隨著芯片供應(yīng)瓶頸的緩解,買家行為也發(fā)生了轉(zhuǎn)變。企業(yè)變得更加注重價(jià)格和采購(gòu) / 租賃的合理性,傾向于選擇更小的 GPU 集群并關(guān)注其業(yè)務(wù)的經(jīng)濟(jì)可行性。

  由于替代方案(例如 AMD 或 AWS 的處理器)的性能和軟件支持不斷加強(qiáng),再加上對(duì) AI 處理器更加謹(jǐn)慎的支出,AI 領(lǐng)域可能迎來(lái)更加平衡的市場(chǎng)格局。