從集中到分布,化解存儲瓶頸
接上篇:從集中到分布,解讀網絡視頻IT架構變遷(下)。集中式存儲已經擁有了諸多優勢,那么為何這家視頻網站最終卻選擇了其他的存儲架構呢?該視頻網站究竟在運營過程中遭遇到了什么樣的阻礙呢?經過我們對整個網站存儲結構的分析,原來,NAS頭成為整個存儲環境的瓶頸……
NAS成為系統瓶頸
傳統集中式存儲的瓶頸
從以上兩幅圖中,我們可以看到傳統的集中存儲方案中,存在如下問題:
I/O瓶頸
容量擴展性差
性能不可擴展
專業高端NAS成本高昂
單點故障
隨著數據量的增加,存儲壓力也變得越來越集中,NAS已不足以支撐現有的應用,無法更好的應對未來的挑戰。既而,該網站從集中式的存儲方式轉向了采用分布式的存儲方式。
分布式存儲系統架構
圖中,每臺服務器上都提供文件共享服務,由應用層來實現媒體資源數據在各個服務器集群之間的遷移,從而比較好的解決了集中存儲的IO瓶頸問題,但是問題也隨之而來。
分布式的存儲沒有負載均衡,例如:發生熱點的時候、部分流媒體服務器忙或部分閑置
分布式存儲利用相對較低率,重復數據大量存在,且份數多
無法實現集中的高Raid 級別保護
快照、備份、恢復、遠程容災比集中存儲實現成本高
需要在應用層對存儲層過多關注。管理復雜度程幾何級增長,整體系統維護工作越來越復雜、繁重。以管理Mount點為例:同樣的服務器數,需管理Mount點的數量為48 [M*(N+F)+W*N]個,即上圖中的48根紅線,遠大于集中存儲結構。這僅僅是Mount點一項,還不包括各個點存儲數據的維護,在實際應用中相關的工作量是相當驚人,管理員疲于奔命。
集中VS.分布?還是分布式的集中?
既然傳統的集中和分布都存在不同的問題,怎么樣去解決?在給出答案之前,我們重新歸納前面分析的視頻網站對存儲的需求:
1. 各種服務器集群之間有視頻傳遞的需求,需要上傳服務器、流媒體服務器、在線錄制服務器和轉換服務器之間的視頻文件是互相可見的,翻譯成存儲的語言則需要文件級共享的存儲。
2. 各種應用服務器可能使用著不同的操作系統平臺,都需要無差異的訪問到存儲空間,而翻譯成存儲的語言則需要跨平臺共享的存儲。
3. 多臺流媒體服務器之間的存儲容量需要共享,從而提高存儲空間的利用率。如采用傳統SAN上面劃分獨立的存儲空間,給每臺服務器的類似做法顯然是不可接受的,并且需要視頻內容合理的分布在各個存儲設備上,翻譯成存儲的語言則需要存儲容量的負載均衡。
4. 單臺存儲設備的存儲速度始終是有限的,需要多個存儲設備的聚合才能滿足視頻內容訪問量的爆炸式的增長,翻譯成存儲的語言則需要多臺存儲設備間的存儲速度的聚合,從而實現存儲速度的負載均衡。
5. 新增視頻內容的不斷添加會導致存儲容量的不斷擴大,在添加設備擴展容量的時,能夠不影響原有系統,且平滑擴展,能夠實現在線的擴展業務系統不停機,翻譯成存儲的語言則需要容量線性可擴展,能夠實現在線擴容。
6. 隨著用戶訪問量增長和視頻清晰度提高帶來的帶寬增長等諸多增長因素的影響,對存儲帶寬的增長需求,要求存儲系統實現帶寬隨容量呈線性增長。
7. 合理的成本控制是一個恒久的話題,需要存儲系統的總體擁有成本隨容量的擴展而合理的擴展,不能出現突變式的增長。
8. 穩定性自然不用說,需要存儲系統采用冗余結構以提高系統的穩定性。
為了滿足上述需求,當我們面對“集中VS.分布”這個艱難抉擇的時候,技術的不斷進步,涌現出:分布式的集中存儲結構——集群存儲技術,其核心技術是集群文件系統。
集群存儲系統滿足視頻行業服務需求
目前,廣為流行的集群文件系統的典型代表主要有:
Google 的GFS (Google File System)
國內中科院研發的BWFS(Blue Whale File System)
Panasas 的PanFS (PanFS File System)
IBM 的 GPFS (General Parallel File System)
CFS 的 Lustre (Lustre File System)
這五種集群文件系統各有特點和優勢,一般而言,分布式集中存儲相對于傳統存儲系統來說擁有如下優點:采用統一的全局命名空間,支持文件級共享,且采用分布式存儲結構,能實現高聚合I/O帶寬,并且跨Linux平臺和Windows平臺的文件共享,還能夠線性擴展I/O帶寬,擁有良好的系統負載平穩性,并能夠動態擴展存儲容量,實現成本可控。
基于分布式結構的集中存儲
如上圖所示:該架構能較好的滿足網絡視頻對存儲系統的需求。
1. 文件共享、統一的全局命名空間——上傳服務器和流媒體服務器之間的文件可見性;多臺流媒體服務器間的存儲容量共享
2. 多臺存儲設備間的存儲速度的聚合——流媒體服務器可用的存儲速度負載均衡
3. 跨平臺共享(Windows/Linux)——支持不同平臺的流媒體服務器、上傳和其他服務器
4. 容量線性可擴展——使流媒體服務能應對不斷擴大的存儲容量需求
5. 帶寬隨著容量線性增長——使流媒體服務能應對不斷擴大的用戶訪問量; 可以按需擴大流媒體服務器的數量而不用擔心存儲
6. 成本需隨著容量的擴展而擴展——良好的成本控制
7. 全冗余結構——穩定的強壯的存儲系統
該視頻網站最終選擇基于BWFS集群文件系統的BWStor藍鯨集群存儲系統。BWFS是由我國中科院計算所工程中心自主研發的文件系統,并經由中科院中科儲天公司產品化。中科院中科儲天藍鯨集群存儲系統(BWStor)即采用BWFS文件系統為核心技術,是中國自主知識產權存儲產品的代表之一。