2022 年在 AI/ML 領(lǐng)域取得了許多突破性的突破。谷歌、Meta 和微軟等大型科技公司在從量子計算到生成人工智能的全新創(chuàng)新中取得了重大進步。

例如，一些最大的突破包括解決國際數(shù)學奧林匹克問題的 Meta 的 HyperTreeProofSearch (HTPS)；DeepMind 的 Alpha Fold 和 Meta AI 的 ESMFold 用于蛋白質(zhì)折疊預測；谷歌的DeepNull模擬表型之間協(xié)變量效應的關(guān)系并改進全基因組關(guān)聯(lián)研究 (GWAS)等等。

接下來，讓我們看看對 2023 年的一些預測。

ChatGPT以其出色的對話能力風靡互聯(lián)網(wǎng)。它是建立在 OpenAI 的GPT-3上的，GPT-3有 1760 億個參數(shù)，依賴于更大的模型尺寸。雖然還有其他 LLM 的參數(shù)是 GPT-3 的兩倍、三倍甚至十倍，但 DeepMind 或 Meta 的一些模型（也稱為小型語言模型（SLM））的參數(shù)數(shù)量已經(jīng)超過 GPT- 3 在邏輯推理和預測等多項任務(wù)上。

除了減小模型的大小外，預計還會有一個更大的模型，如GPT-4 ，具有大約 100 萬億個參數(shù)。由于目前最大的模型是具有 1.6 萬億個參數(shù)的 Google Switch Transformer 模型，因此跳躍將是巨大的。

然而，為了獲得更大的延遲和可預測性，未來幾年可以看到對現(xiàn)有模型進行微調(diào)以服務(wù)于特定目的。最近，OpenAI 使用達芬奇更新對 GPT-3 進行了微調(diào)。

趨勢一：生成式 AI 需要可解釋的 AI

文本到圖像的生成是 2022 年打破排行榜的趨勢。DALL-E、Stable Diffusion 和 Midjourney 等模型在想要試驗 AI 生成藝術(shù)的愛好者中名列前茅。對話很快從文本到圖像轉(zhuǎn)移到文本到視頻，再到文本到任何東西，并且創(chuàng)建了多個模型，這些模型也可以生成 3D 模型。

隨著語言模型的擴展以及傳播模型的改進，文本到任何東西的趨勢預計會上升得更高。公開可用的數(shù)據(jù)集使生成式 AI 模型更具可擴展性。

這些數(shù)據(jù)集引入了有關(guān)可解釋人工智能的部分，其中訓練這些生成模型的每張圖像的屬性變得至關(guān)重要。

趨勢二：FastSaaS 競賽開始

趕上生成人工智能趨勢的公司已經(jīng)開始將其作為云端服務(wù)提供。隨著 LLM 和 GPT-3 和 DALL-E 等生成模型的公開可用，企業(yè)越來越容易將它們作為服務(wù)提供，這催生了FastSaaS。

最近，Shutterstock計劃將 DALL-E 2 集成到其平臺，MicrosoftVS Code添加了 Copilot 作為擴展，TikTok宣布推出應用內(nèi)文本到圖像 AI 生成器，Canva推出了 AI - 在其平臺上生成功能。

趨勢三：依賴超級計算機

這就是構(gòu)建超級計算機以依賴于生成任務(wù)以及為公司提供服務(wù)的趨勢。隨著這些不斷增加的數(shù)據(jù)集和生成模型，對超級計算機的需求正在上升，并且預計會進一步上升。隨著對 FastSaaS 的競爭，對更好和高性能計算的需求是下一件事。

NVIDIA 和微軟最近合作創(chuàng)建了Quantum-2，一個云原生超級計算平臺。10 月，特斯拉宣布其Dojo超級計算機完全使用特斯拉開發(fā)的芯片從零開始構(gòu)建。很快，它看起來可以為企業(yè)客戶提供訪問權(quán)限。此外，Cerebras 還推出了 Andromeda，這是一臺擁有 1350 萬核心的 AI 超級計算機，可提供超過 1 exaflop 的 AI 計算能力。最近，Jasper 與 Cerebras 合作以實現(xiàn)更好的性能。

趨勢四：超越 3nm 芯片

正如摩爾定律所預測的那樣，處理能力隨著芯片尺寸的減小而增加。因此，超級計算機要運行大型模型，就需要更小的芯片，而且我們已經(jīng)看到芯片越來越小。

近年來，芯片行業(yè)一直在推動小型化，制造商不斷尋找使芯片更小、更緊湊的方法。比如M2芯片和A16，蘋果分別使用5nm和4nm芯片，預計2023年臺積電會開發(fā)3nm芯片，這將提高AI/ML算法開發(fā)的效率和性能。

趨勢五：量子與傳統(tǒng)計算的融合

隨著NVIDIA、谷歌和微軟等公司向云端提供硬件服務(wù)，量子計算領(lǐng)域的更多創(chuàng)新勢必會發(fā)生。這將允許小型科技公司在不需要重型硬件的情況下訓練、測試和構(gòu)建 AI/ML 模型。

未來幾年量子計算的興起絕對應該被開發(fā)人員納入，因為它的使用將在許多其他領(lǐng)域增加，如醫(yī)療保健、金融服務(wù)等。

在最近的公告中，一臺量子計算機連接到歐洲最快的超級計算機，以結(jié)合傳統(tǒng)計算機和量子計算機以更快地解決問題。同樣，Nvidia 也發(fā)布了QODA——簡稱 Quantum-Optimised Device Architecture，這是混合量子經(jīng)典計算機的首創(chuàng)平臺。

IBM最近在其 2022 年年度量子峰會上宣布了他們的量子硬件和軟件，概述了使用 433 量子位 (qubit) 處理器進行以量子為中心的超級計算的開創(chuàng)性愿景。在全球人工智能峰會上，IBM宣布明年他們將展示一個 1000 量子比特的系統(tǒng)，這將成為各個領(lǐng)域進一步創(chuàng)新的顛覆者。