1,分布式存儲系統架構
雲和AI時代,數據迎來海量增長。高速5G通信、高清8K視頻、自動駕駛和大數據分析等越來越多的新興應用正在逐步推高數據存儲的需求。企業不斷擴展業務邊界,在雲場景中集成存儲資源,並以更低的TCO(總擁有成本)和更靈活的部署來應對非結構化數據的快速增長。在這種背景下,分布式存儲架構成為了首選。
各存儲廠商紛紛推出自己的分布式存儲產品,通過存儲系統軟件組織各個硬件節點的本地存儲資源,根據需要為上層應用提供文件存儲、對象存儲、大數據存儲和塊存儲服務。存儲海量數據更經濟,使用多元化數據更高效,承載線上業務更可靠。
2.雲環境下分布式存儲的應用場景。
用戶訪問層是基於雲存儲開發的應用的入口,授權用戶可以通過標準的公共應用接口登錄雲存儲系統,享受雲存儲服務。不同的雲存儲產品服務商提供不同的訪問類型和手段。
數據服務層是使用雲存儲資源進行應用開發的關鍵部分。雲存儲平臺通過數據服務層為用戶提供統壹的協議和編程接口來開發應用。應用程序接口層是雲存儲中最靈活的部分。不同的雲存儲運營商可以根據實際業務類型開發不同的應用服務接口,提供不同的應用服務。
數據管理層是雲存儲的核心,也是最復雜的部分。數據管理層采用集群技術和分布式存儲技術,實現多個存儲設備之間的協同工作,對外提供高可用、可擴展的服務,同時負責數據加密、備份、容災和必要的計費。
數據存儲層是雲存儲最基礎的部分,由不同類型的存儲設備和網絡設備組成。數據存儲層實現了海量數據的統壹管理、存儲設備管理、狀態監控等。存儲層位於雲存儲的最底層,是雲存儲最基礎的部分。存儲設備的選擇很多,各種存儲設備都可以用來搭建這個層。
雲存儲中的存儲設備通常數量眾多,分布在許多不同的位置,它們通過互聯網或光纖通道將各種網絡連接在壹起。分布在存儲設備上的是統壹的存儲硬件設備管理系統。通過該層,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理、硬件設備的狀態監控和故障維護。
3.為雲平臺的基礎提供基礎存儲資源。
在雲環境下,分布式存儲系統可以實現計算資源和存儲資源的獨立橫向擴展。當計算資源不足時,直接擴展計算節點,當存儲空間不足時,只需要擴展存儲節點,大大節省了硬件資源,降低了成本。
對於部署在雲平臺中的輕量級企業關鍵應用,可以選擇中等性能的磁盤類型,滿足普通數據庫、應用虛擬機、中間件虛擬機等對性能要求不高但企業級特性豐富的場景的數據存儲需求。以雲硬盤的形式掛載到虛擬機或裸機服務器上,滿足企業用戶應用數據的存儲需求。
分布式存儲的註意事項
1,壹致性
分布式存儲系統需要使用多個服務器來存儲數據,並且隨著服務器數量的增加,服務器失效的概率也在增加。以確保系統在服務器出現故障時仍然可用。壹般的做法是將壹塊數據分成多個副本,分別存儲在不同的服務器上。但是,由於故障和並行存儲,同壹數據的多個副本之間可能存在不壹致。這裏稱之為壹致性,保證多個副本的數據完全壹致。
2.有效性
分布式存儲系統需要多臺服務器同時工作。當服務器數量增加時,不可避免地會有壹些服務器出現故障。我們希望這種情況不會對整個系統產生太大影響。系統中部分節點失效後,整個系統不影響客服端的讀寫請求,這叫可用性。
3、分區容錯
分布式存儲系統中的多個服務器通過網絡連接。但是我們不能保證網絡總是暢通的,分布式系統需要有壹定的容錯能力來處理網絡故障帶來的問題。壹個令人滿意的情況是,當壹個網絡由於故障而分解成多個部分時,分布式存儲系統仍然可以工作。