新基建對(duì)數(shù)據(jù)處理提出了挑戰(zhàn)

①海量:海量數(shù)據(jù)的不斷涌現(xiàn)，到2025年全球新創(chuàng)建的數(shù)據(jù)將達(dá)到175ZB。

②多元:數(shù)據(jù)從單一內(nèi)部小數(shù)據(jù)形態(tài)向多元?jiǎng)討B(tài)大數(shù)據(jù)發(fā)展，數(shù)據(jù)環(huán)境多樣、復(fù)雜，大量文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)被產(chǎn)生和存儲(chǔ)。

③實(shí)時(shí):金融風(fēng)險(xiǎn)評(píng)估、交通自動(dòng)駕駛、運(yùn)營(yíng)商智能網(wǎng)絡(luò)等場(chǎng)景，都得依賴(lài)快速實(shí)時(shí)的數(shù)據(jù)采集、存儲(chǔ)和分析得以實(shí)現(xiàn)，到2023年實(shí)時(shí)數(shù)據(jù)占全球數(shù)據(jù)圈24.5%的份額。

④上云:未來(lái)全球?qū)⒂谐^(guò)70%的企業(yè)選擇多云部署模式，核心數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)容量占比將超過(guò)50%。

⑤空間：目前只有不到2%的企業(yè)數(shù)據(jù)被存儲(chǔ)下來(lái)，其中只有10%被用于數(shù)據(jù)分析，這說(shuō)明，我國(guó)數(shù)據(jù)存儲(chǔ)利用能力存在很大缺口。

分布式存儲(chǔ)和分布式系統(tǒng)的提升

簡(jiǎn)單說(shuō)，分布式存儲(chǔ)就是一種數(shù)據(jù)存儲(chǔ)技術(shù)，通過(guò)網(wǎng)絡(luò)使用每臺(tái)機(jī)器上的磁盤(pán)空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散地存儲(chǔ)在網(wǎng)絡(luò)中的各個(gè)角落。

打個(gè)比方：假設(shè)將數(shù)據(jù)類(lèi)比為一個(gè)人，存儲(chǔ)比作客車(chē)，直接存儲(chǔ)就是一輛客車(chē)運(yùn)輸人;一到春運(yùn)，客車(chē)不夠運(yùn)輸了就采用火車(chē)和高鐵進(jìn)行運(yùn)輸，火車(chē)和高鐵一節(jié)一節(jié)的車(chē)廂運(yùn)輸，就是分布式存儲(chǔ)。

分布式系統(tǒng)的出現(xiàn)的根由就是是為了用普通的機(jī)器完成單個(gè)計(jì)算機(jī)無(wú)法完成的計(jì)算、存儲(chǔ)任務(wù)，處理更多的數(shù)據(jù)。

①容量橫向擴(kuò)展：集群容量的擴(kuò)展，通過(guò)增加存儲(chǔ)節(jié)點(diǎn)實(shí)現(xiàn)，因?yàn)榫W(wǎng)絡(luò)強(qiáng)大的擴(kuò)展性，在理論上節(jié)點(diǎn)可以擴(kuò)充到幾千個(gè)，可以很好的滿(mǎn)足海量存儲(chǔ)容量需求。

②連接橫向擴(kuò)展：在傳統(tǒng)存儲(chǔ)應(yīng)用中，網(wǎng)絡(luò)接入帶寬往往成為瓶頸，主要原因是存儲(chǔ)對(duì)外接口數(shù)量擴(kuò)展能力有限，而分布式存儲(chǔ)則可以很好地解決這個(gè)問(wèn)題，接口數(shù)量可以隨節(jié)點(diǎn)數(shù)量的增加，實(shí)現(xiàn)接入帶寬的行增長(zhǎng)。

③性能線(xiàn)性提升：每個(gè)節(jié)點(diǎn)的性能(IOPS帶寬)基本是確定的，整體性能隨節(jié)點(diǎn)數(shù)量的增加線(xiàn)性提升，滿(mǎn)足業(yè)務(wù)規(guī)模擴(kuò)容后對(duì)性能的需求。

5G+分布式云加速邊緣賦能新基建

我國(guó)5G已正式進(jìn)入規(guī)?；逃秒A段，邊緣側(cè)連接需求較大的業(yè)務(wù)場(chǎng)景迎來(lái)蓬勃發(fā)展的新契機(jī)。

在此趨勢(shì)下，邊緣賦能需求驅(qū)動(dòng)云計(jì)算能力下沉，分布式云成為計(jì)算架構(gòu)演進(jìn)新趨勢(shì)。

5G與分布式云融合，正加速邊緣賦能新基建，同時(shí)催生的海量邊緣連接場(chǎng)景，驅(qū)動(dòng)云計(jì)算向一種更加全局化的分布式組合模式進(jìn)階。

伴隨5G大規(guī)模商用部署，工業(yè)互聯(lián)網(wǎng)、數(shù)字媒體等行業(yè)在5G融合方面已逐步開(kāi)展商業(yè)部署，智慧醫(yī)療、車(chē)聯(lián)網(wǎng)、智慧城市、數(shù)字農(nóng)業(yè)等領(lǐng)域也紛紛在5G應(yīng)用方面探索實(shí)踐。

分布式云應(yīng)運(yùn)而生，成為新基建重要力量，邊緣賦能需求驅(qū)動(dòng)云計(jì)算能力下沉，分布式云成為計(jì)算架構(gòu)演進(jìn)新趨勢(shì)。

MEC(Multi-access Edge Computing)邊緣云較之傳統(tǒng)云計(jì)算，MEC邊緣云強(qiáng)調(diào)聯(lián)接能力與計(jì)算能力的結(jié)合，包含覆蓋資源層、虛擬化層、平臺(tái)層、應(yīng)用層的完整架構(gòu)體系，并強(qiáng)調(diào)本地分流、網(wǎng)絡(luò)能力開(kāi)放、網(wǎng)絡(luò)資源管理等特有能力。

有望取代HTTP的IPFS被寄予了厚望

互聯(lián)網(wǎng)是建立在HTTP協(xié)議之上的，HTTP協(xié)議讓互聯(lián)網(wǎng)得到了迅速的發(fā)展，但是在互聯(lián)網(wǎng)發(fā)展的今天，HTTP逐漸走出了不足，HTTP集中效率低下，而且成本很高。

現(xiàn)行網(wǎng)絡(luò)所基于的HTTP協(xié)議中心化特性所導(dǎo)致的問(wèn)題正在日益凸顯，下載速度慢、數(shù)據(jù)安全性差、存儲(chǔ)成本高、數(shù)據(jù)留存時(shí)間短、帶寬有限且昂貴等桎梏顯然適應(yīng)不了即將來(lái)臨的新時(shí)代。

IPFS(分布式文件系統(tǒng))是一種點(diǎn)對(duì)點(diǎn)的超媒體傳輸協(xié)議，基于內(nèi)容尋址的它相比HTTP下載速度快、數(shù)據(jù)安全性高、存儲(chǔ)成本低廉、數(shù)據(jù)留存時(shí)間長(zhǎng)，加入網(wǎng)絡(luò)中的人越多網(wǎng)絡(luò)越流暢。

在疫情沒(méi)有爆發(fā)前，據(jù)統(tǒng)計(jì)IPFS在2019全年公共網(wǎng)絡(luò)增長(zhǎng)了30倍，在有效存儲(chǔ)數(shù)據(jù)方面全球累計(jì)獲得了300多億份，目前還在以每?jī)赡攴槐兜乃俣缺l(fā)式增長(zhǎng)。

這和IPFS目前被成功應(yīng)用在數(shù)據(jù)存儲(chǔ)、內(nèi)容分享、文件傳輸、網(wǎng)絡(luò)視頻、社交網(wǎng)絡(luò)、去中心化交易、身份服務(wù)、區(qū)塊鏈應(yīng)用、金融電商等各個(gè)領(lǐng)域的生態(tài)息息相關(guān)。

5G技術(shù)與應(yīng)用即將井噴式發(fā)展的當(dāng)下，爆發(fā)性增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求也是推動(dòng)存儲(chǔ)技術(shù)變革的重要推動(dòng)力。

5G的出現(xiàn)還給IPFS提供了高帶寬，使IPFS更加便捷，新基建、5G與IPFS結(jié)合必將會(huì)共建存儲(chǔ)新時(shí)代。

分布式存儲(chǔ)仍面臨若干技術(shù)瓶頸

①目前的分布式存儲(chǔ)暫時(shí)無(wú)法實(shí)現(xiàn)數(shù)據(jù)價(jià)值分層，難以實(shí)現(xiàn)有效激勵(lì)，可以考慮將底層構(gòu)架和應(yīng)用層策略相結(jié)合;

②分布式存儲(chǔ)從代碼實(shí)現(xiàn)到協(xié)議層都有很大的優(yōu)化空間，還會(huì)受到網(wǎng)絡(luò)規(guī)模限制，存在I/O性能問(wèn)題;

③存儲(chǔ)數(shù)據(jù)價(jià)值較高的用戶(hù)需要承擔(dān)更大的服務(wù)質(zhì)量風(fēng)險(xiǎn)，付費(fèi)意愿較弱，需要應(yīng)用層解決方案。

④考慮到系統(tǒng)運(yùn)維成本、服務(wù)質(zhì)量和宏觀(guān)監(jiān)管等問(wèn)題，未來(lái)的分布式存儲(chǔ)系統(tǒng)需要引入中心化組織形式來(lái)彌補(bǔ)運(yùn)營(yíng)成本。

結(jié)尾：

疫情在一定程度上倒逼了數(shù)字經(jīng)濟(jì)的發(fā)展，在這種情況下，新基建的異軍突起也就變得順理成章了。

這次新冠疫情可以視為一次壓測(cè)，基于5G、云計(jì)算、大數(shù)據(jù)、AI的新基建帶來(lái)的存儲(chǔ)變革正在釋放。