當前位置:法律諮詢服務網 - 企業資訊 - 什麽是虛擬存儲技術?

什麽是虛擬存儲技術?

隨著圍繞數字化、網絡化的多媒體處理業務越來越多,存儲系統網絡平臺成為核心平臺,同時各種應用對平臺的要求也越來越高,不僅表現在存儲容量上,還表現在數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等方面。可以說,存儲網絡平臺的綜合性能將直接影響整個系統的正常運行。

為了滿足這些需求,壹種新的技術正在引起越來越多的關註,這就是虛擬存儲技術。

事實上,虛擬化技術並不是壹項非常新的技術,它的發展應該說是隨著計算機技術的發展而發展起來的,最早始於20世紀70年代。當時的存儲容量,尤其是內存容量,成本很高,容量很小,極大地限制了大規模應用或者多程序應用。為了克服這種局限性,人們采用了虛擬存儲技術,其中最典型的應用就是虛擬內存技術。隨著計算機技術和相關信息處理技術的不斷發展,人們對存儲的需求越來越大。這種需求刺激了各種新技術的出現,比如越來越好的磁盤性能和更大的容量。然而,在大量的大中型信息處理系統中,單個磁盤無法滿足需求,因此存儲虛擬化技術應運而生。在這個發展過程中,也有幾個階段和應用。壹是RAID(容錯)技術,通過壹定的邏輯關系將多個物理磁盤整合成壹個大容量的虛擬磁盤。隨著數據量越來越大,對數據可用性的需求越來越高,另壹種新的存儲技術應運而生,即存儲區域網絡(SAN)技術。廣域SAN旨在實現存儲設備作為公共設施,任何人、任何主機都可以隨時隨地獲取自己想要的數據。目前討論的技術有很多,包括iSCSI和FC Over IP。因為壹些相關標準還沒有最終確定,所以存儲設備公開化,存儲網絡廣化是不可逆轉的趨勢。

首先,虛擬存儲的概念

所謂虛擬存儲,就是集中管理多個存儲介質模塊(如硬盤、RAID),所有存儲模塊都在壹個存儲池中管理。從主機和工作站的角度來看,它不是多個硬盤,而是壹個分區或卷,就像壹個超大容量的硬盤(比如1T以上)。這種能夠統壹管理多個存儲設備,為用戶提供大容量和高數據傳輸性能的存儲系統被稱為虛擬存儲。

二、虛擬存儲的分類

目前,虛擬存儲的發展還沒有統壹的標準。從虛擬存儲的拓撲結構來看,主要有對稱和非對稱兩種方式。對稱虛擬存儲技術是指將虛擬存儲控制設備、存儲軟件系統和交換設備集成為壹個整體,嵌入在網絡數據傳輸路徑中;非對稱虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑。從虛擬化存儲的實現原理來說,有兩種方式;即塊虛擬化和虛擬文件系統。詳情如下:

1.對稱虛擬存儲

圖1對稱虛擬存儲解決方案示意圖

在圖1所示的對稱虛擬存儲結構圖中,存儲控制設備高速流量控制器(HSTD)和存儲池子系統存儲池集成在壹起,形成壹個SAN設備。可以看出,存儲控制設備HSTD在主機和存儲池之間的數據交換過程中起著核心作用。該方案的虛擬存儲過程如下:存儲池中的物理硬盤被HSTD內嵌的存儲管理系統虛擬為壹個邏輯存儲單元(LUN),並進行端口映射(指定壹個LUN可以被哪些端口看到),主機端將每個可見的存儲單元映射為壹個操作系統可以識別的盤符。當主機向SAN設備寫入數據時,用戶只需將數據寫入位置指定為其映射的驅動器號(LUN),數據將首先通過HSTD的高速並行端口寫入緩存。HSTD的存儲管理系統自動完成從LUN到物理硬盤的轉換,並且在這個過程中,用戶只看到虛擬的邏輯單元,而不考慮每個LUN的具體物理組織結構。該計劃有以下主要特點:

(1)采用大容量緩存,顯著提高了數據傳輸速度。

緩存是存儲系統中廣泛使用的中間介質,位於主機和存儲設備之間的I/O路徑上。當主機從存儲設備中讀取數據時,會將與當前數據存儲位置相連的數據讀入緩存,並將多次調用的數據保存在緩存中;當主機讀取數據時,有很大概率可以從緩存中找到需要的數據。直接從緩存中讀取。從緩存中讀取數據的速度只受電信號的傳播速度(等於光速)的影響,所以比從硬盤中讀取數據時磁盤的機械旋轉速度要高得多。主機向存儲設備寫入數據時,先將數據寫入緩存,然後在主機的寫入動作停止時,再將數據從緩存寫入硬盤,這也高於直接寫入硬盤的速度。

(2)多端口並行技術消除了I/O瓶頸。

傳統FC存儲設備中的控制端口和邏輯磁盤之間有固定的關系,硬盤只能通過控制它的控制器端口來訪問。在對稱虛擬存儲設備中,SAN設備的存儲端口與LUN之間的關系是虛擬的,即多臺主機可以同時通過多個存儲端口(最多8個)訪問同壹個LUN。在光纖通道100MB/帶寬的前提下,並行工作的端口越多,數據帶寬越高。

(3)邏輯存儲單元提供高速磁盤訪問速度。

在視頻應用環境中,應用在讀寫數據時,以固定大小的數據塊為單位(從512byte到1MB)。為了保證應用程序的帶寬需求,存儲系統通常被設計為當數據塊大小超過512字節時實現其最佳I/O性能。在傳統的SAN結構中,當容量需求增加時,唯壹的解決方案是將多個磁盤(物理或邏輯)綁定到壹個條帶集中,以實現大容量的LUN。在對稱虛擬存儲系統中,為主機提供真正的超大容量高性能LUN,而不是通過分條實現的性能不佳的邏輯卷。與條帶集相比,Power LUN具有諸多優勢,如I/O塊的大塊將真正被存儲系統接受,有效提高數據傳輸速度;此外,由於沒有分區的處理過程,主機CPU可以減輕很大的負擔,並提高主機的性能。

(4)成對HSTD系統的容錯性能。

在對稱虛擬存儲系統中,HSTD是數據I/O的唯壹場所,存儲池是數據存儲的地方。因為存儲池中的數據有容錯機制保證安全,所以用戶自然會想HSTD是否有容錯保護。和很多大規模存儲系統壹樣,在成熟的對稱虛擬存儲系統中,HSTD是成對配置的,每對HSTD通過SAN Appliance內嵌的網絡管理服務實現緩存數據的壹致性和相互通信。

(5)可以方便地在SAN設備上連接交換設備,實現超大規模的Fabric結構的SAN。

由於系統保持了標準的SAN結構,並為系統的擴展和互聯提供了技術支持,因此可以方便地在SAN設備上連接交換設備,實現壹個具有Fabric結構的超大規模SAN。

2.不對稱虛擬存儲系統

圖2不對稱虛擬存儲系統示意圖

在圖2所示的非對稱虛擬存儲系統結構圖中,網絡中的每個主機和虛擬存儲管理設備都連接到磁盤陣列,主機的數據路徑通過FC交換設備到達磁盤陣列;虛擬存儲設備虛擬化連接到網絡的磁盤陣列,將每個存儲陣列中的LUN虛擬化為邏輯條帶,並為網絡上的每個主機分配對每個條帶的訪問權限(可寫、可讀和禁止)。當主機想要訪問條帶時,它必須首先訪問虛擬存儲設備,讀取條帶信息和訪問權限,然後通過交換設備訪問實際條帶中的數據。在此過程中,主機只會識別邏輯條帶,而不會直接識別物理硬盤。該方案具有以下特點:

(1)將不同物理硬盤陣列中的容量進行邏輯組合,實現壹個虛擬條帶集,綁定多個陣列控制器端口,在壹定程度上提高了系統的可用帶寬。

(2)當交換機端口數量足夠時,可以在壹個網絡中安裝兩個虛擬存儲設備,實現條帶信息和訪問權限的冗余。

然而,這個方案有壹些缺點:

(1)這個方案本質上是壹個條帶化的集合磁盤陣列結構。壹旦條帶集中的磁盤陣列控制器損壞,或者從陣列到交換機的路徑上的銅纜和GBIC損壞,虛擬LUN將離線,但條帶集本身沒有容錯能力。壹個LUN的損壞意味著整個條帶中的數據丟失。

(2)由於這種方案的帶寬是通過綁定陣列端口來提高的,而普通光纖通道陣列控制器的有效帶寬只有40MB/S左右,所以要達到幾百兆的帶寬就意味著要調用十幾個陣列,這樣會占用幾十個交換機端口,這在只有壹兩個交換機的中小型網絡中是不可行的。

(3)由於各種品牌和型號的磁盤陣列的性能並不完全相同,如果為了虛擬化的目的而綁定不同品牌和型號的陣列,會帶來壹個問題:寫入或讀取數據時每個並發數據流的速度不同,這意味著傳輸後原有的數據包順序被打亂,系統需要花費時間和資源重新排列數據包,嚴重影響系統性能。

3.數據塊虛擬化和虛擬文件系統

從拓撲結構的角度分析了對稱和非對稱虛擬存儲方案的異同。實際上,虛擬存儲有兩種實現方式。即塊虛擬化和虛擬文件系統。

數據塊虛擬存儲方案著重解決數據傳輸中的沖突和延遲問題。在由多個交換機組成的大型光纖SAN中,由於多個主機通過多個交換機端口訪問存儲設備,因此延遲和數據塊碰撞問題非常嚴重。塊虛擬存儲方案使用虛擬多端口並行技術,為多個客戶端提供極高的帶寬,最大限度地減少延遲和沖突的發生。在實際應用中,塊虛擬存儲方案由對稱拓撲表示。

虛擬文件系統的存儲方案著重解決大規模網絡中文件共享的安全機制。通過為不同的站點分配不同的訪問權限,保證了網絡文件的安全性。在實際應用中,虛擬文件系統的存儲方案用非對稱拓撲來表示。

第三,虛擬存儲技術的實施

目前,虛擬存儲的實現主要分為以下幾類:

1.服務器端的虛擬存儲

服務器供應商將在服務器端實現虛擬存儲。同樣,軟件供應商也將在服務器平臺上實現虛擬存儲。這些虛擬存儲的實現是通過服務器將映像映射到外圍存儲設備上,除了分發數據,對外圍存儲設備沒有任何控制。通常,服務器通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲到邏輯卷的映射提供了壹個虛擬層。服務器只需要處理邏輯卷,而不需要管理存儲設備的物理參數。

服務器端是構建虛擬存儲系統的壹個性能瓶頸,因此很少用於多媒體處理領域。

2.存儲子系統端的虛擬存儲

實施虛擬化的另壹個地方是存儲設備本身。這種虛擬存儲壹般由存儲廠商實現,但很可能使用廠商的專屬存儲產品。為了避免這種不兼容性,供應商可以與服務器、軟件或網絡供應商合作。在設備端實現虛擬存儲時,邏輯(虛擬)環境和物理設備在同壹控制範圍內,具有虛擬磁盤高效利用磁盤容量,虛擬磁帶高效利用磁帶介質的優點。

存儲子系統上的虛擬存儲設備主要通過壹個大規模RAID子系統和多個I/O通道連接到服務器,智能控制器提供LUN訪問控制、緩存和數據復制等其他管理功能。這種方式的好處是存儲設備管理器對設備有完全的控制權,通過與服務器系統分離,存儲管理可以與各種服務器操作系統隔離,硬件參數可以輕松調整。

3.虛擬存儲在網絡設備端實現。

網絡廠商會在網絡設備端實現虛擬存儲,通過網絡將邏輯鏡像映射到外圍存儲設備,除了數據分發,對外圍存儲設備沒有任何控制。在網絡端實現虛擬存儲是合理的,因為它的實現不是在服務器端或存儲設備端,而是在兩個環境之間,這可能是最“開放”的虛擬實現環境,最有可能支持任何服務器、操作系統、應用程序和存儲設備。從技術上講,網絡端實現虛擬存儲有兩種結構形式:對稱虛擬存儲和非對稱虛擬存儲。

從目前虛擬存儲技術和產品的實際情況來看,基於主機和基於存儲的方式最吸引早期采用者,因為它們不需要任何額外的硬件,但是對於異構存儲系統和操作系統,系統的運行效果並不是很好。基於互聯設備的方法介於兩者之間,避免了壹些安全問題,存儲虛擬化功能強大,可以降低單個主機的負載,實現良好的可擴展性。

無論采用哪種虛擬存儲技術,其目的都是為了提供壹個高性能、安全、穩定、可靠、可擴展的存儲網絡平臺,以滿足節目制作網絡系統的苛刻要求。綜合性價比來看,壹般來說,當基於主機和存儲設備的虛擬存儲技術能夠滿足系統的數據處理能力要求時,優先考慮,因為這兩種虛擬存儲技術結構方便,管理簡單,易於維護,產品相對成熟,性價比高。在基於存儲設備的簡單虛擬存儲技術無法保證存儲系統性能要求的情況下,可以考慮采用基於互聯設備的虛擬存儲技術。

第四,虛擬存儲的特點

虛擬存儲具有以下特征:

(1)虛擬存儲提供了壹種集中管理大容量存儲系統的手段,通過網絡中的壹條鏈路(如服務器)進行管理,避免了存儲設備擴容帶來的管理麻煩。例如,使用壹般的存儲系統,當添加新的存儲設備時,整個系統(包括網絡中的許多用戶設備)需要重新配置,以使這個“新成員”加入存儲系統。使用虛擬存儲技術添加新的存儲設備時,只需要網絡管理員對存儲系統進行相對簡單的系統配置更改,客戶端不需要任何操作。感覺存儲系統的容量只增不減。

(2)虛擬存儲對於視頻網絡系統最有價值的特點是可以大大提高存儲系統的整體訪問帶寬。存儲系統由多個存儲模塊組成,虛擬存儲系統可以很好地平衡負載,將每次數據訪問所需的帶寬合理地分配給每個存儲模塊,使系統的整體訪問帶寬增加。比如壹個存儲系統有四個存儲模塊,每個存儲模塊的訪問帶寬是50MBps,那麽這個存儲系統的總訪問帶寬可以接近所有存儲模塊的帶寬之和,也就是200MBps。

(3)虛擬存儲技術為存儲資源管理提供了更好的靈活性,可以集中管理和使用不同類型的存儲設備,從而保證用戶過去購買存儲設備的投入。

(4)虛擬存儲技術可以通過管理軟件為網絡系統提供壹些其他有用的功能,如無服務器遠程鏡像、數據快照等。

動詞 (verb的縮寫)虛擬存儲的應用由於虛擬存儲的上述特點,虛擬存儲技術正逐漸成為存儲管理的主流技術,其應用如下:

1.數據鏡像

數據鏡像是通過雙向同步或單向同步的方式,在不同的存儲設備之間建立數據副本。壹個合理的解決方案應該能夠提供壹種在同壹存儲陣列和不同存儲陣列之間進行鏡像的方式,而不依賴於設備制造商和操作系統的支持。

2.數據復制

通過IP地址進行遠距離數據遷移(通常是異步傳輸)對於不同規模的企業來說是壹個極其重要的數據容災工具。好的解決方案不應該依賴專用網絡設備的支持,同時也不應該依賴主機來節省企業的管理費用。

3.磁帶備份增強設備

在過去的幾年中,磁帶備份技術幾乎沒有什麽新的發展。盡管如此,壹個網絡存儲設備平臺還應該能夠在磁帶和磁盤之間架起壹座橋梁,從而高速、平穩、安全地完成備份工作。

4.實時拷貝

出於測試、擴展和總結等原因,企業經常需要制作數據副本。

5.實時數據恢復

使用磁帶恢復數據是數據恢復的主要手段,但往往很難成功。數據管理新的重要發展方向之壹是將近期的備份數據(可以是幾周前的歷史數據)轉移到磁盤介質上,而不是磁帶介質上。用磁盤恢復數據快如閃電(60秒內可恢復所有文件),遠比用磁帶恢復數據安全可靠。同時,可以恢復整個卷數據。

6.應用集成

存儲管理發展的另壹個新方向是讓服務貼近應用。沒有壹個信息技術領域的管理者會僅僅出於興趣而購買存儲設備。存儲設備用於服務應用程序,如數據庫、通信系統等。通過將存儲設備與關鍵的企業應用行為進行整合,可以獲得更大的價值,同時也可以大大減少運營過程中遇到的問題。

7.虛擬存儲在數字視頻網絡中的應用

現在我將重點介紹虛擬存儲在數字視頻網絡中的應用。

數字視頻網絡對於廣電行業來說並不是壹個陌生的概念。由於其在廣播電視技術數字化進程中的重要作用,國內各級電視臺都非常重視,並開始建設和應用此類系統。在數字視頻網絡的概念中,完全打破了傳統的壹個錄像機、壹個剪輯系統、壹個播出系統的結構,取代了上傳工作站、剪輯制作工作站、播出工作站、節目存儲工作站的流程,便於操作和管理。節目上傳、節目編輯、節目播出都可以在不同功能的工作站上完成,工作效率翻倍。同時,由於非線性編輯系統的使用,除了采集時的壓縮損失。在信號制作和播出過程中不會有任何損失,節目的技術質量也會大大提高。

在現有的視頻網絡系統中,雖然計算機的主頻、網絡的傳輸速率和交換設備的性能可以滿足大多數應用的要求,但是存儲設備的訪問帶寬已經成為系統的壹大性能瓶頸。視頻編輯制作具有數據存儲量大、碼流高、實時性強、安全性重要的特點。這就要求視頻領域使用的存儲技術和產品必須有足夠的帶寬和良好的穩定性。

在單機應用中,為了保證壹個編輯站點有足夠的數據帶寬,SCSI技術和獨立磁盤冗余陣列(包括軟件和硬件)技術被廣泛使用。通過增加幾個SCSI硬盤和控制器,形成壹個容量大、響應快、可靠性高的存儲子系統。從用戶的角度來看,既可以作為邏輯磁盤,也可以作為虛擬磁盤,從而大大提高數據傳輸速率和存儲容量,同時利用糾錯技術提高存儲的可靠性,滿足帶寬要求。

隨著節目制作需求的發展,要求2-3個臺享受編輯數據。這時,可以使用SCSI網絡技術來實現這壹要求。幾個編輯站點都配備了高性能的SCSI適配器,連接到* * * *共享的SCSI磁盤陣列,讓幾個站點共享數據,保證每個單機的工作帶寬。

光纖通道技術的成熟應用對視頻網絡的發展具有裏程碑式的意義。從此,主機與* * *存儲設備的連接距離從幾米限制到幾百米、幾公裏,並借助光纖通道交換設備,網絡規模擴大了幾倍、十幾倍。此時,FC(光纖通道)磁盤陣列-RAID容錯技術,相對高帶寬和大容量的SCSI,成為了視頻網絡中的核心存儲設備。

隨著電視臺規模的發展,提出了全臺級大規模視頻網絡的應用。在這種需求下,有必要將更先進的存儲技術和產品引入視頻領域。存儲區域網絡(SAN)的發展目前正處於全速上升期,各種概念層出不窮。其中,虛擬存儲的概念具有劃時代的意義。與傳統的交換機加RAID陣列相比,主機通過硬件層直接訪問陣列中硬盤的SAN結構。虛擬存儲的定位是將數據存儲功能從實際和物理的數據訪問過程中抽象出來,使普通用戶在訪問數據時不必關心具體存儲設備的配置參數、物理位置和容量,從而簡化用戶和系統管理員的工作難度。

在設計視頻網絡系統時,存儲系統的選擇主要考慮以下因素:(1)整體帶寬性能;(2)可管理性;(3)安全性;(4)可擴展性;(5)系統成本。

當然,這些因素有時是相互制約的,尤其是系統成本與性能和安全性的關系。如何在這些因素之間尋求合理、實用、經濟的配合,是壹個需要解決的課題。虛擬存儲技術的出現為我們構建視頻網絡系統提供了壹個可行的高性價比解決方案。

在拓撲結構方面,對稱方案具有更高的帶寬性能和更好的安全特性,因此更適合大規模視頻網絡應用。由於非對稱方案采用了虛擬文件的原理,更適合普通局域網(如辦公網)的應用。

  • 上一篇:什麽是管理信息系統,管理信息系統在現實生活中的應用
  • 下一篇:生姜的種植技術與管理
  • copyright 2024法律諮詢服務網