導讀:云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念,是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。
云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念,是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。
與云計算系統(tǒng)相比,云存儲可以認為是配置了大容量存儲空間的一個云計算系統(tǒng)。云存儲系統(tǒng)具有如下特點:數(shù)據(jù)安全,超強的可擴展性,按照使用收費,可跨不同應用,自動切換故障,易于管理等。云存儲主要應用于備份、歸檔、分配和共享協(xié)作等四大領域。
云存儲系統(tǒng)是一個多設備、多應用、多服務協(xié)同工作的集合體,它的實現(xiàn)要以多種技術的發(fā)展為前提。根據(jù)云存儲的特點及其應用領域,主要的云存儲技術涉及到存儲虛擬化,分布式文件系統(tǒng),集群存儲,存儲集中管理,異質平臺協(xié)同,自動分級存儲等方面,當然還有重復數(shù)據(jù)刪除、數(shù)據(jù)壓縮等技術。
一、存儲虛擬化
存儲虛擬化(StorageVirtualization)最通俗的理解就是對存儲硬件資源進行抽象化表現(xiàn)。通過將一個(或多個)目標服務或功能與其它附加的功能集成,統(tǒng)一提供有用的全面功能服務。典型的虛擬化包括如下一些情況:屏蔽系統(tǒng)的復雜性,增加或集成新的功能,仿真、整合或分解現(xiàn)有的服務功能等。虛擬化是作用在一個或者多個實體上的,而這些實體則是用來提供存儲資源或服務的。
存儲虛擬化是一種貫穿于整個IT環(huán)境、用于簡化本來可能會相對復雜的底層基礎架構的技術。存儲虛擬化的思想是將資源的邏輯映像與物理存儲分開,從而為系統(tǒng)和管理員提供一幅簡化、無縫的資源虛擬視圖。
對于用戶來說,虛擬化的存儲資源就像是一個巨大的“存儲池”,用戶不會看到具體的磁盤、磁帶,也不必關心自己的數(shù)據(jù)經過哪一條路徑通往哪一個具體的存儲設備。
二、分布式文件系統(tǒng)
Hadoop分布式文件系統(tǒng)(HDFS)是一個設計為用在普通硬件設備上的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多近似的地方,但又和這些文件系統(tǒng)有很明顯的不同。HDFS是高容錯的,設計為部署在廉價硬件上的。HDFS對應用程序的數(shù)據(jù)提供高吞吐量,而且適用于那些大數(shù)據(jù)集應用程序。HDFS 開放了一些POSIX的必須接口,容許流式訪問文件系統(tǒng)的數(shù)據(jù)。
HDFS是主/從結構的。一個集群有一個名字結點,也就是主控制服務器,負責管理文件系統(tǒng)的名字空間并協(xié)調客戶對文件的訪問。還有一堆數(shù)據(jù)結點,一般一個物理結點上部署一個,負責它們所在的物理結點上的存儲管理。HDFS開放文件系統(tǒng)的名字空間以便讓用戶數(shù)據(jù)存儲在文件中。內部,一個文件被分割為一個或者多個數(shù)據(jù)塊,這些數(shù)據(jù)塊存儲在一組數(shù)據(jù)結點中。名字結點執(zhí)行文件系統(tǒng)的名字空間操作,比如打開、關閉、重命名文件或目錄,還決定數(shù)據(jù)塊從數(shù)據(jù)結點的映射。數(shù)據(jù)結點負責提供客戶的讀寫請求。數(shù)據(jù)結點還依照名字結點的指令執(zhí)行數(shù)據(jù)塊的創(chuàng)建、刪除和復制工作。
三、集群存儲
集群存儲是將多臺存儲設備中的存儲空間聚合成一個能夠給應用服務器提供統(tǒng)一訪問接口和管理界面的存儲池,應用可以通過該訪問接口透明地訪問和利用所有存儲設備上的磁盤,可以充分發(fā)揮存儲設備的性能和磁盤利用率。數(shù)據(jù)將會按照一定的規(guī)則從多臺存儲設備上存儲和讀取,以獲得更高的并發(fā)訪問性能。
集群存儲的優(yōu)勢主要體現(xiàn)在提高并行或分區(qū)I/O的整體性能,特別是工作流、讀密集型以及大型文件的訪問,通過采用更低成本的服務器來降低整體成本。集群存儲有兩種實現(xiàn)方式:一種是硬件基礎架構加上軟件;另一種是專用集群存儲,是構建在NAS基礎架構之上的,但是通過操作系統(tǒng)實現(xiàn)集群存儲。
四、存儲集中管理
云存儲管理平臺要求支持跨數(shù)據(jù)中心的部署和管理,并支持跨數(shù)據(jù)中心的用戶訪問調度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲備份等功能。
支持集中管理,云存儲管理平臺部署在云計算的中心機房,存儲節(jié)點可以部署在各地的機房中,管理平臺對各分點機房的存儲設備可以統(tǒng)一管理調度。
通過云存儲管理平臺,用戶可以方便的了解云存儲系統(tǒng)的各個節(jié)點的服務情況,包括各節(jié)點的容量和性能(讀IOPS、寫IOPS、讀流量、寫流量)等信 息,讓用戶實時了解域內資源信息,運行狀態(tài),從而可以操控這些資源;同時及時了解資源的異常,有必要時可以采取適當?shù)拇胧┍WC其正常運行。
五、異質平臺協(xié)同
當前各種存儲方案與技術十分繁雜而多樣,光從一家企業(yè)內部可能同時存在各種不同類型存儲裝置的狀況便知一二,更何況不同存儲設備供貨商間的存儲環(huán)境一直存在兼容性問題,所以喊了多年的存儲整合,仍舊難以如企業(yè)需求所愿,這也是存儲虛擬化與云存儲推展上的最大阻力。
雖然存儲云端在某方面很容易跨入(例如在線存儲與備份),但另一方面想要透過私有云存儲來達成全面性之存儲整合,似乎不是那么容易的事情。對此,想 要成功完成存儲虛擬化目標必須改善企業(yè)既有IT存儲環(huán)境,其改善重點不外共通分享的存儲架構、親和的使用環(huán)境、簡潔單一的操作界面,以及效能卓著的存儲方 案等。其中,不論是單一操作接口或統(tǒng)一標準的API,更是解決不同存儲裝置間協(xié)同問題的關鍵之一。
CDMI是云存儲全新標準接口,由國際存儲網(wǎng)絡產業(yè)協(xié)會SNIA制定。對于云運算來說,CDMI提供了通用云運算管理基礎架構,同時原本信息管理的 重點已逐漸從存儲管理轉移圍繞在數(shù)據(jù)管理上。 CDMI標準則可以協(xié)助用戶將特殊詮釋數(shù)據(jù)(Metadata)標記在數(shù)據(jù)上,該詮釋數(shù)據(jù)會告訴端點存儲供應商,什么樣的數(shù)據(jù)服務提供該數(shù)據(jù)(例如備份、 歸檔、加密等)。透過CDMI標準接口的執(zhí)行,用戶可在不同云端供應商間任意移動數(shù)據(jù),不再需要忍受不同接口中重新編碼的痛苦。
六、自動分級存儲
提高存儲管理效率已經成為許多企業(yè)首要解決問題,自動分級存儲成為最有效的基礎技術,它指的是在不同磁盤類型和RAID級別之間遷移數(shù)據(jù)塊的功能,這可滿足性能和空間使用之間的適當平衡,快速將數(shù)據(jù)放到合適的地方并避免所謂的熱點。
作為這項技術受到廣泛關注,在不同層級的存儲介質之間,比如FC磁盤和SATA磁盤之間,移動數(shù)據(jù)需要實現(xiàn)全自動化的遷移流程。
在分級數(shù)據(jù)存儲結構中,存儲設備一般有磁帶庫、磁盤或磁盤陣列等,而磁盤又可以根據(jù)其性能分為FC磁盤、SCSI磁盤、SATA磁盤等多種,而閃存 存儲介質(非易失隨機訪問存儲器(NVRAM))也因為較高的性能可以作為分級數(shù)據(jù)存儲結構中較高的一級。一般,磁盤或磁盤陣列等成本高、速度快的設備, 用來存儲經常訪問的重要信息,而磁帶庫等成本較低的存儲資源用來存放訪問頻率較低的信息。
七、小結
云存儲與云運算一樣,必須經由網(wǎng)絡來提供隨選分派的存儲資源。重要的是,該網(wǎng)絡必須具備良好的QoS機制才行。對于用戶來說,具備彈性擴展與隨使用 需求彈性配置的云存儲,可節(jié)省大筆的存儲設備采購及管理成本,甚至因存儲設備損壞所造成的數(shù)據(jù)遺失風險也可因此避免。總之,不論是端點使用者將數(shù)據(jù)備份到 云端,抑或企業(yè)基于法規(guī)遵循,或其他目的的數(shù)據(jù)歸檔與保存,云存儲皆可滿足各方的不同需求,所有云存儲技術的發(fā)展都要確保實現(xiàn)這一目標。