隨著圍繞數字化、網絡化開展的各種多媒體處理業務的不斷增加,存儲系統網絡平臺已經成為一個核心平臺,同時各種應用對平臺的要求也越來越高,不光是在存儲容量上,還包括數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等等多個方面。可以說,存儲網絡平臺的綜合性能的優劣,將直接影響到整個系統的正常運行。
為達到這些要求,一種新興的技術正越來越受到大家的關注,即虛擬存儲技術。
其實虛擬化技術并不是一件很新的技術,它的發展,應該說是隨著計算機技術的發展而發展起來的,最早是始于70年代。由于當時的存儲容量,特別是內存容量成本非常高、容量也很小,對于大型應用程序或多程序應用就受到了很大的限制。為了克服這樣的限制,人們就采用了虛擬存儲的技術,最典型的應用就是虛擬內存技術。
隨著計算機技術以及相關信息處理技術的不斷發展,人們對存儲的需求越來越大。這樣的需求刺激了各種新技術的出現,比如磁盤性能越來越好、容量越來越大。但是在大量的大中型信息處理系統中,單個磁盤是不能滿足需要,這樣的情況下存儲虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種應用。首先是磁盤條帶集(RAID,可帶容錯)技術,將多個物理磁盤通過一定的邏輯關系集合起來,成為一個大容量的虛擬磁盤。而隨著數據量不斷增加和對數據可用性要求的不斷提高,又一種新的存儲技術應運而生,那就是存儲區域網絡(SAN)技術。
SAN的廣域化則旨在將存儲設備實現成為一種公用設施,任何人員、任何主機都可以隨時隨地獲取各自想要的數據。目前討論比較多的包括iSCSI、 FC Over IP 等技術,由于一些相關的標準還沒有最終確定,但是存儲設備公用化、存儲網絡廣域化是一個不可逆轉的潮流。
一、虛擬存儲的概念
所謂虛擬存儲,就是把多個存儲介質模塊(如硬盤、RAID)通過一定的手段集中管理起來,所有的存儲模塊在一個存儲池(Storage Pool)中得到統一管理,從主機和工作站的角度,看到就不是多個硬盤,而是一個分區或者卷,就好象是一個超大容量(如1T以上)的硬盤。這種可以將多種、多個存儲設備統一管理起來,為使用者提供大容量、高數據傳輸性能的存儲系統,就稱之為虛擬存儲。
二、虛擬存儲的分類
目前虛擬存儲的發展尚無統一標準,從虛擬化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟件系統、交換設備集成為一個整體,內嵌在網絡數據傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立于數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。具體如下:
1.對稱式虛擬存儲
存儲控制設備 High Speed Traffic Directors(HSTD)與存儲池子系統Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的:由HSTD內嵌的存儲管理系統將存儲池中的物理硬盤虛擬為邏輯存儲單元(LUN),并進行端口映射(指定某一個LUN能被哪些端口所見),主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時,用戶只需要將數據寫入位置指定為自己映射的盤符(LUN),數據經過HSTD的高速并行端口,先寫入高速緩存,HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬盤的轉換,在此過程中用戶見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:
(1)采用大容量高速緩存,顯著提高數據傳輸速度。
緩存是存儲系統中廣泛采用的位于主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時,會把與當前數據存儲位置相連的數據讀到緩存中,并把多次調用的數據保留在緩存中;當主機讀數據時,在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響(等于光速),因此大大高于從硬盤讀數據時盤片機械轉動的速度。當主機向存儲設備寫入數據時,先把數據寫入緩存中,待主機端寫入動作停止,再從緩存中將數據寫入硬盤,同樣高于直接寫入硬盤的速度
(2)多端口并行技術,消除了I/O瓶頸。
傳統的FC存儲設備中控制端口與邏輯盤之間是固定關系,訪問一塊硬盤只能通過控制它的控制器端口。在對稱式虛擬存儲設備中,SAN Appliance的存儲端口與LUN的關系是虛擬的,也就是說多臺主機可以通過多個存儲端口(最多8個)并發訪問同一個LUN;在光纖通道100MB/ 帶寬的大前提下,并行工作的端口數量越多,數據帶寬就越高。
(3)邏輯存儲單元提供了高速的磁盤訪問速度。
在視頻應用環境中,應用程序讀寫數據時以固定大小的數據塊為單位(從512byte到1MB之間)。而存儲系統為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁盤(物理或邏輯的)綁定為帶區集,實現大容量LUN。在對稱式虛擬存儲系統中,為主機提供真正的超大容量、高性能LUN,而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被存儲系統所接受,有效提高數據傳輸速度;并且由于沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。
(4)成對的HSTD系統的容錯性能。
在對稱式虛擬存儲系統中,HSTD是數據I/O的必經之地,存儲池是數據存放地。由于存儲池中的數據具有容錯機制保障安全,因此用戶自然會想到 HSTD是否有容錯保護。象許多大型存儲系統一樣,在成熟的對稱式虛擬存儲系統中,HSTD是成對配制的,每對HSTD之間是通過SAN Appliance內嵌的網絡管理服務實現緩存數據一致和相互通信的。
(5)在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
因為系統保持了標準的SAN結構,為系統的擴展和互連提供了技術保障,所以在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
2.非對稱式虛擬存儲系統
網絡中的每一臺主機和虛擬存儲管理設備均連接到磁盤陣列,其中主機的數據路徑通過
FC交換設備到達磁盤陣列;虛擬存儲設備對網絡上連接的磁盤陣列進行虛擬化操作,將各存儲陣列中的LUN虛擬為邏輯帶區集(Strip),并對網絡上的每一臺主機指定對每一個Strip的訪問權限(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬存儲設備,讀取Strip信息和訪問權限,然后再通過交換設備訪問實際的Strip中的數據。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬盤。這種方案具有如下特點:
(1)將不同物理硬盤陣列中的容量進行邏輯組合,實現虛擬的帶區集,將多個陣列控制器端口綁定,在一定程度上提高了系統的可用帶寬。
(2)在交換機端口數量足夠的情況下,可在一個網絡內安裝兩臺虛擬存儲設備,實現Strip信息和訪問權限的冗余。
但是該方案存在如下一些不足:
(1)該方案本質上是帶區集——磁盤陣列結構,一旦帶區集中的某個磁盤陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip里面數據的丟失。
(2)由于該方案的帶寬提高是通過陣列端口綁定來實現的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味著要調用十幾臺陣列,這樣就會占用幾十個交換機端口,在只有一兩臺交換機的中小型網絡中,這是不可實現的。
(3)由于各種品牌、型號的磁盤陣列其性能不完全相同,如果出于虛擬化的目的將不同品牌、型號的陣列進行綁定,會帶來一個問題:即數據寫入或讀出時各并發數據流的速度不同,這就意味著原來的數據包順序在傳輸完畢后被打亂,系統需要占用時間和資源去重新進行數據包排序整理,這會嚴重影響系統性能。
3.數據塊虛擬與虛擬文件系統
以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。
數據塊虛擬存儲方案著重解決數據傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由于多臺主機通過多個交換機端口訪問存儲設備,延時和數據塊沖突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多端口并行技術,為多臺客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。
虛擬文件系統存儲方案著重解決大規模網絡中文件共享的安全機制問題。通過對不同的站點指定不同的訪問權限,保證網絡文件的安全。在實際應用中,虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。 #p#副標題#e#
三、虛擬存儲技術的實現方式
目前實現虛擬存儲主要分為如下幾種:
1.在服務器端的虛擬存儲
服務器廠商會在服務器端實施虛擬存儲。同樣,軟件廠商也會在服務器平臺上實施虛擬存儲。這些虛擬存儲的實施都是通過服務器端將鏡像映射到外圍存儲設備上,除了分配數據外,對外圍存儲設備沒有任何控制。服務器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。服務器只需要處理邏輯卷,而不用管理存儲設備的物理參數。
用這種構建虛擬存儲系統,服務器端是一性能瓶頸,因此在多媒體處理領域幾乎很少采用。
2.在存儲子系統端的虛擬存儲
另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的,但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性,廠商也許會和服務器、軟件或網絡廠商進行合作。當虛擬存儲實施在設備端時,邏輯(虛擬)環境和物理設備同在一個控制范圍中,這樣做的益處在于:虛擬磁盤高度有效地使用磁盤容量,虛擬磁帶高度有效地使用磁帶介質。
在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到服務器上,智能控制器提供LUN訪問控制、緩存和其他如數據復制等的管理功能。這種方式的優點在于存儲設備管理員對設備有完全的控制權,而且通過與服務器系統分開,可以將存儲的管理與多種服務器操作系統隔離,并且可以很容易地調整硬件參數。
3.網絡設備端實施虛擬存儲
網絡廠商會在網絡設備端實施虛擬存儲,通過網絡將邏輯鏡像映射到外圍存儲設備,除了分配數據外,對外圍存儲設備沒有任何控制。在網絡端實施虛擬存儲具有其合理性,因為它的實施既不是在服務器端,也不是在存儲設備端,而是介于兩個環境之間,可能是最“開放”的虛擬實施環境,最有可能支持任何的服務器、操作系統、應用和存儲設備。從技術上講,在網絡端實施虛擬存儲的結構形式有以下兩種:即對稱式與非對稱式虛擬存儲。
從目前的虛擬存儲技術和產品的實際情況來看,基于主機和基于存儲的方法對于初期的采用者來說魅力最大,因為他們不需要任何附加硬件,但對于異構存儲系統和操作系統而言,系統的運行效果并不是很好。基于互聯設備的方法處于兩者之間,它回避了一些安全性問題,存儲虛擬化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。
不管采用何種虛擬存儲技術,其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網絡平臺,滿足節目制作網絡系統的苛刻要求。根據綜合的性能價格比來說,一般情況下,在基于主機和基于存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時,優先考慮,因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基于存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下,我們可以考慮采用基于互連設備的虛擬存儲技術。
四、虛擬存儲的特點
虛擬存儲具有如下特點:
(1)虛擬存儲提供了一個大容量存儲系統集
中管理的手段,由網絡中的一個環節(如服務器)進行統一管理,避免了由于存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統,當增加新的存儲設備時,整個系統(包括網絡中的諸多用戶設備)都需要重新進行繁瑣的配置工作,才可以使這個“新成員”加入到存儲系統之中。而使用虛擬存儲技術,增加新的存儲設備時,只需要網絡管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上只是存儲系統的容量增大了。
(2)虛擬存儲對于視頻網絡系統最有價值的特點是:可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成,而虛擬存儲系統可以很好地進行負載平衡,把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MBps,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MBps。
(3)虛擬存儲技術為存儲資源管理提供了更好的靈活性,可以將不同類型的存儲設備集中管理使用,保障了用戶以往購買的存儲設備的投資。
(4)虛擬存儲技術可以通過管理軟件,為網絡系統提供一些其它有用功能,如無需服務器的遠程鏡像、數據快照(Snapshot)等。
五、虛擬存儲的應用
由于虛擬存儲具有上述特點,虛擬存儲技術正逐步成為共享存儲管理的主流技術,其應用具體如下:
1.數據鏡像
數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據復本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下,提供在同一存儲陣列及不同存儲陣列間制作鏡像的方法。
2.數據復制
通過IP地址實現的遠距離數據遷移(通常為異步傳輸)對于不同規模的企業來說,都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網絡設備支持,同時,也不應當依賴主機,以節省企業的管理費用。
3.磁帶備份增強設備
過去的幾年,在磁帶備份技術上鮮有新發展。盡管如此,一個網絡存儲設備平臺亦應能在磁帶和磁盤間搭建橋路,以高速、平穩、安全地完成備份工作。
4.實時復本
出于測試、拓展及匯總或一些別的原因,企業經常需要制作數據復本。
5.實時數據恢復
利用磁帶來還原數據是數據恢復工作的主要手段,但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備分數據(可以是數星期前的歷史數據)轉移到磁盤介質,而非磁帶介質。用磁盤恢復數據就象閃電般迅速(所有文件能在60秒內恢復),并遠比用磁帶恢復數據安全可靠。同時,整卷(Volume)數據都能被恢復。
6.應用整合
存儲管理發展的又一新方向是,將服務貼近應用。沒有一個信息技術領域的管理人員會單純出于對存儲設備的興趣而去購買它。存儲設備是用來服務于應用的,比如數據庫,通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。
7.虛擬存儲在數字視頻網絡中的應用
從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合大規模視頻網絡應用。非對稱式方案由于采用了虛擬文件原理,因此更適合普通局域網(如辦公網)的應用。