亚洲成精品动漫久久精久,九九在线精品视频播放,黄色成人免费观看,三级成人影院,久碰久,四虎成人欧美精品在永久在线

掃一掃
關(guān)注微信公眾號(hào)

大數(shù)據(jù)引發(fā)思考 Hadoop如何走得更遠(yuǎn)?
2012-04-28   網(wǎng)絡(luò)

存儲(chǔ)技術(shù)已經(jīng)發(fā)展和成熟起來(lái),并開(kāi)始在許多數(shù)據(jù)中心處于近乎商品的地位。然而,今天的企業(yè)面臨著存儲(chǔ)技術(shù)的不斷變化帶來(lái)的諸多問(wèn)題一個(gè)例子是推動(dòng)大數(shù)據(jù)分析,一項(xiàng)給大型數(shù)據(jù)集帶來(lái)商業(yè)智能BI功能的舉措。

  大數(shù)據(jù)分析過(guò)程需要如下超出典型存儲(chǔ)范式的能力—典型存儲(chǔ)范式,簡(jiǎn)而言之,即傳統(tǒng)的存儲(chǔ)技術(shù),如SAN、NAS和其它無(wú)法在本地處理伴隨著大數(shù)據(jù)的挑戰(zhàn)而來(lái)的TB級(jí)和PB級(jí)的非結(jié)構(gòu)化信息的存儲(chǔ)技術(shù)。除此之外,成功的大數(shù)據(jù)分析需要更多的東西——種新的處理大容量數(shù)據(jù)的方法,換言之,一種新的存儲(chǔ)平臺(tái)。

  Hadoop是一個(gè)開(kāi)源項(xiàng)目,它提供了處理大數(shù)據(jù)的平臺(tái)。雖然Hadoop的出現(xiàn)已經(jīng)有一段時(shí)日了,但是很多企業(yè)現(xiàn)在才開(kāi)始使用Hadoop。

  Hadoop平臺(tái)旨在解決海量數(shù)據(jù)引起的問(wèn)題,尤其是那些混合了復(fù)雜、非結(jié)構(gòu)化、結(jié)構(gòu)化信息的數(shù)據(jù),這些數(shù)據(jù)的結(jié)構(gòu)導(dǎo)致其不適合存儲(chǔ)在表中。 Hadoop在需要支持深度和計(jì)算廣泛的分析比如集群和定位的情況下運(yùn)作良好。那么Hadoop對(duì)那些尋求充分利用大數(shù)據(jù)的IT專業(yè)人員意味著什么?簡(jiǎn)單的回答是Hadoop解決了與大數(shù)據(jù)相關(guān)聯(lián)的最常見(jiàn)的問(wèn)題:高效的存儲(chǔ)和訪問(wèn)海量數(shù)據(jù)。

  Hadoop的內(nèi)在設(shè)計(jì)允許其作為一個(gè)能夠在大量不共享任何內(nèi)存和磁盤的計(jì)算機(jī)之間工作的平臺(tái)運(yùn)行。考慮到這一點(diǎn),就能很容易看到Hadoop如何提供額外的價(jià)值——網(wǎng)絡(luò)管理員可以簡(jiǎn)單的購(gòu)買許多商品服務(wù)器,將它們放在機(jī)架上,然后在每臺(tái)服務(wù)器上運(yùn)行Hadoop軟件。

  更何況,Hadoop有助于減少大型數(shù)據(jù)集相關(guān)聯(lián)的管理開(kāi)銷。在操作上,一旦企業(yè)的數(shù)據(jù)加載到了Hadoop平臺(tái),軟件就會(huì)把數(shù)據(jù)分解成可管理的片 段,然后自動(dòng)將這些數(shù)據(jù)分配給不同的服務(wù)器。數(shù)據(jù)天然的分布式性質(zhì)意味著從單一的服務(wù)器訪問(wèn)數(shù)據(jù)是不可能的。Hadoop跟蹤數(shù)據(jù)駐留的位置,并通過(guò)創(chuàng)建 多個(gè)存儲(chǔ)副本進(jìn)一步保護(hù)這些信息。這樣,系統(tǒng)的伸縮性增強(qiáng)了:如果某個(gè)服務(wù)器脫機(jī)或者失敗了,數(shù)據(jù)可以自動(dòng)復(fù)制已知的正常副本。

  Hadoop如何走得更遠(yuǎn)?

  Hadoop進(jìn)一步分多個(gè)步驟處理數(shù)據(jù)。例如,限制關(guān)聯(lián)傳統(tǒng)的、集中式的數(shù)據(jù)庫(kù)系統(tǒng),該數(shù)據(jù)庫(kù)系統(tǒng)可能包括了連接到具有多個(gè)處理器的服務(wù)器級(jí)系統(tǒng)的大型磁盤驅(qū)動(dòng)器。在這種情況下,由于磁盤的性能限制,數(shù)據(jù)分析是有限的,并且,最終還要忍受可購(gòu)買的處理器數(shù)量。

  在部署了Hadoop后,集群中的每個(gè)服務(wù)器都可以通過(guò)Hadoop傳播分布在集群中的數(shù)據(jù)的功能參與數(shù)據(jù)的處理過(guò)程。換句話說(shuō),一個(gè)索引作業(yè)向集 群中的每個(gè)服務(wù)器發(fā)送代碼,然后每個(gè)服務(wù)器在屬于自己的一塊數(shù)據(jù)上進(jìn)行相關(guān)操作,隨后處理結(jié)果作為一個(gè)整體交付。有了Hadoop,過(guò)程被視為 MapReduce,在MapReduce中,代碼和進(jìn)程被映射到了所有的服務(wù)器上而操作結(jié)果被減少到了單個(gè)數(shù)據(jù)集上。

  Hadoop之所以能夠處理海量數(shù)據(jù)就是因?yàn)檫@個(gè)過(guò)程。Hadoop傳播數(shù)據(jù)并且能夠利用所有的可用集群處理器并行工作來(lái)處理復(fù)雜計(jì)算問(wèn)題。

熱詞搜索:

上一篇:匯集名師資源 飛視美助力高校開(kāi)創(chuàng)新課堂
下一篇:啟明星辰榮獲2011年市級(jí)職工創(chuàng)新工作室稱號(hào)

分享到: 收藏