目前,存儲(chǔ)集群在大型網(wǎng)絡(luò)應(yīng)用環(huán)境應(yīng)用非常廣泛,用多個(gè)節(jié)點(diǎn)來(lái)代替一個(gè)節(jié)點(diǎn)完成任務(wù),毫無(wú)疑問(wèn)是為了提高處理能力。其次存儲(chǔ)集群還可以做到高可用性,即使某個(gè)節(jié)點(diǎn)發(fā)生故障,不能再繼續(xù)參與計(jì)算,那么及集群中的其它節(jié)點(diǎn)也可以立即接替故障節(jié)點(diǎn)正常工作,下面我們來(lái)具體了解一下集群方面的知識(shí)。
集群的分類(lèi):
WEB網(wǎng)站經(jīng)常用到的負(fù)載均衡集群系統(tǒng)(LBC)
WEB負(fù)載均衡集群系統(tǒng)通過(guò)一個(gè)流量管理的節(jié)點(diǎn)(可以是一個(gè)流量管理軟件、軟硬一體的流量管理機(jī))或帶流量管理系統(tǒng)的交換機(jī),將用戶(hù)的連接請(qǐng)求分配到多臺(tái)服務(wù)器,這些服務(wù)器可以完成相同的或不同的功能。通過(guò)負(fù)載均衡集群系統(tǒng),大量的負(fù)荷可以分配到多臺(tái)性能較低的服務(wù)器上,既可以保護(hù)用戶(hù)原有的投資,也可以動(dòng)態(tài)地進(jìn)行擴(kuò)展,不需將原系統(tǒng)應(yīng)用暫停,同時(shí),多臺(tái)服務(wù)器共同工作,當(dāng)一臺(tái)出現(xiàn)故障時(shí), 流量管理節(jié)點(diǎn)可以及時(shí)偵測(cè)到,用戶(hù)的請(qǐng)求將會(huì)分配到其余的健康的服務(wù)器上,用戶(hù)的使用沒(méi)有影響,管理員只需將故障服務(wù)器修復(fù)后再動(dòng)態(tài)加入集群系統(tǒng)即可,應(yīng)用無(wú)須暫停。
高性能集群系統(tǒng)(HPC)
在進(jìn)行油田勘探、天氣預(yù)報(bào)、動(dòng)畫(huà)制作、生命科學(xué)等的研究中,往往是一個(gè)大型的科學(xué)計(jì)算工程,它需要一個(gè)高性能的超級(jí)計(jì)算機(jī)才能在特定的時(shí)間內(nèi)完成大量的計(jì)算和數(shù)據(jù)的交換。這個(gè)高性能的超級(jí)計(jì)算機(jī)并不是一個(gè)通用的大型機(jī)或小型機(jī)就能滿(mǎn)足要求,通常根據(jù)不同的特定計(jì)算內(nèi)容和性能要求的不同由幾臺(tái)到上百臺(tái)PC服務(wù)器通過(guò)內(nèi)部高速互連設(shè)備連接而成。一個(gè)并行計(jì)算集群系統(tǒng)有一個(gè)統(tǒng)一的管理、監(jiān)控和調(diào)度節(jié)點(diǎn),通過(guò)這個(gè)單一的入口,可以對(duì)集群內(nèi)部的各服務(wù)器節(jié)點(diǎn)進(jìn)行管理、監(jiān)控和任務(wù)的調(diào)度,通過(guò)內(nèi)部的高速互聯(lián)網(wǎng)絡(luò)交換數(shù)據(jù),共同完成一個(gè)龐大的工程。
數(shù)據(jù)庫(kù)集群系統(tǒng)
大量的用戶(hù)產(chǎn)生的大負(fù)荷以及業(yè)務(wù)活動(dòng)的繁忙所產(chǎn)生的海量數(shù)據(jù)都要求當(dāng)前的應(yīng)用系統(tǒng)必須有一個(gè)性能強(qiáng)大、高度可用的數(shù)據(jù)庫(kù)后臺(tái)支撐系統(tǒng)。數(shù)據(jù)庫(kù)的集群系統(tǒng)由多臺(tái)PC服務(wù)器和磁盤(pán)陣列柜組成。集群系統(tǒng)內(nèi)部的各臺(tái)服務(wù)器共同承擔(dān)用戶(hù)對(duì)數(shù)據(jù)的請(qǐng)求,共同享有數(shù)據(jù)資源,既能均衡負(fù)載提高系統(tǒng)的性能又能互相容錯(cuò),提高系統(tǒng)的可操性和可用性。
集群存儲(chǔ)特點(diǎn)
1. 開(kāi)放式架構(gòu)(高擴(kuò)展性)
它針對(duì)集群存儲(chǔ)內(nèi)部構(gòu)成元素而言。一般集群存儲(chǔ)應(yīng)該包括存儲(chǔ)節(jié)點(diǎn)、前端網(wǎng)絡(luò)、后端網(wǎng)絡(luò)等三個(gè)構(gòu)成元素,每個(gè)元素都可以非常容易地采用業(yè)界最新技術(shù)而不用改變集群存儲(chǔ)的架構(gòu),且擴(kuò)展起來(lái)非常方便,像搭積木一樣進(jìn)行存儲(chǔ)的擴(kuò)展。特別是對(duì)于那些對(duì)數(shù)據(jù)增長(zhǎng)趨勢(shì)較難預(yù)測(cè)的用戶(hù),可以先購(gòu)買(mǎi)一部分存儲(chǔ),當(dāng)有需求的時(shí)候,隨時(shí)添加,而不會(huì)影響現(xiàn)有存儲(chǔ)的使用。
存儲(chǔ)集群架構(gòu)(來(lái)自百度)
2. 分布式操作系統(tǒng)
這是集群存儲(chǔ)的靈魂所在。所有對(duì)集群存儲(chǔ)的操作都經(jīng)由分布式操作系統(tǒng)統(tǒng)一調(diào)度和分發(fā),分散到集群存儲(chǔ)各個(gè)存儲(chǔ)節(jié)點(diǎn)上完成。使用分布式操作系統(tǒng)帶來(lái)的好處是各節(jié)點(diǎn)之間沒(méi)有任何區(qū)別,沒(méi)有主次、功能上的區(qū)別,所有存儲(chǔ)節(jié)點(diǎn)功能完全一致,這樣才能真正做到性能最優(yōu)。
3. 統(tǒng)一命名空間
統(tǒng)一命名空間在很多廠家的存儲(chǔ)概念中都出現(xiàn)過(guò)。在集群存儲(chǔ)中,統(tǒng)一命名空間強(qiáng)調(diào)的是同一個(gè)文件系統(tǒng)下的統(tǒng)一命名空間。它同樣可以支持上PB級(jí)別的存儲(chǔ)空間。如果是通過(guò)將若干有空間上限的卷掛載到某一個(gè)根目錄的方式來(lái)達(dá)到統(tǒng)一命名空間,其效率和出現(xiàn)存儲(chǔ)熱點(diǎn)時(shí)的性能將會(huì)大大低于把上PB級(jí)別的存儲(chǔ)空間置于同一個(gè)文件系統(tǒng)下管理的統(tǒng)一命名空間。
4. 易管理性
目前存儲(chǔ)業(yè)界的管理方式都是通過(guò)各廠商的管理工具,或通過(guò)Web界面進(jìn)行管理和配置,往往客戶(hù)端還需要安裝相關(guān)軟件才能訪問(wèn)到存儲(chǔ)上的空間。隨著需要管理的存儲(chǔ)空間逐漸增大,管理存儲(chǔ)的復(fù)雜度和管理人員的數(shù)量也將會(huì)隨之增加。而集群存儲(chǔ)應(yīng)該提供一種集中的、簡(jiǎn)便易用的管理方式,對(duì)客戶(hù)端沒(méi)有任何影響,采用業(yè)界標(biāo)準(zhǔn)的訪問(wèn)協(xié)議(比如NFS,CIFS)訪問(wèn)集群存儲(chǔ)。
5. 負(fù)載均衡
集群存儲(chǔ)通過(guò)分布式操作系統(tǒng)的作用,會(huì)在前端和后端都實(shí)現(xiàn)負(fù)載均衡。前端訪問(wèn)集群存儲(chǔ)的操作,通過(guò)幾種負(fù)載均衡策略,將訪問(wèn)分散到集群存儲(chǔ)的各個(gè)存儲(chǔ)節(jié)點(diǎn)上。后端訪問(wèn)數(shù)據(jù),通過(guò)開(kāi)放式的架構(gòu)和后端網(wǎng)絡(luò),數(shù)據(jù)會(huì)分布在所有節(jié)點(diǎn)上進(jìn)行存放和讀取。
6. 高性能
關(guān)于高性能領(lǐng)域,目前對(duì)集群存儲(chǔ)的討論還僅局限在高帶寬、高并發(fā)訪問(wèn)的應(yīng)用模式下。毫無(wú)疑問(wèn),集群存儲(chǔ)對(duì)于該類(lèi)應(yīng)用可以提供比傳統(tǒng)存儲(chǔ)架構(gòu)更優(yōu)的性能。但目前應(yīng)用除了高帶寬、高并發(fā)訪問(wèn)類(lèi)的之外,還有高IOPS、隨機(jī)訪問(wèn)、小文件訪問(wèn)以及備份歸檔等其他類(lèi)的應(yīng)用,集群存儲(chǔ)應(yīng)該在以上領(lǐng)域同樣提供高性能的解決方案。
集群的適用范圍:
集群可以實(shí)現(xiàn)在系統(tǒng)路徑的任何點(diǎn)上
硬件上:CPU、內(nèi)存、顯卡、顯示終端、以太網(wǎng)卡、計(jì)算機(jī)本身、以太網(wǎng)IP網(wǎng)絡(luò)設(shè)備、FC卡、FC網(wǎng)絡(luò)交換設(shè)備、磁盤(pán)陣列控制器本身、磁盤(pán)陣列控制器內(nèi)部的各個(gè)組件、磁盤(pán)本身、磁盤(pán)內(nèi)部的多片和多個(gè)磁頭。
軟件上:應(yīng)用程序、文件系統(tǒng)、卷管理系統(tǒng)
集群
那么什么時(shí)候我們需要實(shí)現(xiàn)集群呢?
當(dāng)某個(gè)系統(tǒng)的處理能力不能滿(mǎn)足性能要求的時(shí)候,可以考慮使用負(fù)載均衡集群或者高性能集群;當(dāng)追求系統(tǒng)的高可用性時(shí),即希望某處故障不會(huì)影響整個(gè)系統(tǒng)的可用性的時(shí)候,使用高性能集群系統(tǒng);當(dāng)需要運(yùn)算的數(shù)據(jù)量很大的時(shí)候,運(yùn)算周期很長(zhǎng)的時(shí)候,可以考慮實(shí)施數(shù)據(jù)庫(kù)集群系統(tǒng)。
目前,各大知名網(wǎng)站一般都采用的是Web負(fù)載均衡集群來(lái)均衡TCP連接請(qǐng)求,由于這些網(wǎng)站每天的訪問(wèn)量很大,同時(shí)產(chǎn)生的TCP連接請(qǐng)求很多,所以如果只用一臺(tái)計(jì)算機(jī)來(lái)接受這些請(qǐng)求,根本滿(mǎn)足不了性能,甚至?xí)斐蛇@臺(tái)計(jì)算機(jī)器資源耗盡而死機(jī)。基于Linux系統(tǒng)的LVS,是由國(guó)人主持研發(fā)的一種TCP負(fù)載均衡軟件,被廣泛應(yīng)用于TCP連接壓力很大的系統(tǒng)下,LVS可以基于很多策略來(lái)將前端的請(qǐng)求分?jǐn)偟胶蠖说亩嗯_(tái)計(jì)算機(jī)上,其本質(zhì)就是一個(gè)基于策略的TCP包轉(zhuǎn)發(fā)引擎。
對(duì)于比較重視的IT建設(shè)的企業(yè)、重要的應(yīng)用系統(tǒng),都可實(shí)施數(shù)據(jù)庫(kù)集群來(lái)追求高可用性,從而避免故障造成的生產(chǎn)停頓。
各大科研所、氣象、石油勘探等機(jī)構(gòu),由于需要很大的運(yùn)算量和運(yùn)算周期,一般都采用高性能集群。
隨著大數(shù)據(jù)時(shí)代的來(lái)了,存儲(chǔ)集群將會(huì)得到更廣泛的應(yīng)用,集群優(yōu)勢(shì)也將體現(xiàn)的更明顯。
原文鏈接:http://stor.zol.com.cn/284/2847216.html