亚洲成精品动漫久久精久,九九在线精品视频播放,黄色成人免费观看,三级成人影院,久碰久,四虎成人欧美精品在永久在线

掃一掃
關(guān)注微信公眾號(hào)

SMAQ技術(shù):不斷發(fā)揮大數(shù)據(jù)的最大價(jià)值
2011-08-29   IT168.com

大數(shù)據(jù)這一概念的存在已有些時(shí)日,不過(guò)其濫用程度快超過(guò)了“云”

  有趣的是,一些大型的傳統(tǒng)存儲(chǔ)供應(yīng)商正接受這一概念,似乎這個(gè)名詞已經(jīng)成了大型數(shù)據(jù)集及其產(chǎn)品的代名詞。大數(shù)據(jù)實(shí)際上與傳統(tǒng)存儲(chǔ)供應(yīng)商的技術(shù)和商業(yè)模式都成對(duì)立關(guān)系。

  一個(gè)正在形成的共識(shí)是:大數(shù)據(jù)不僅僅是指大量數(shù)據(jù),而是特指無(wú)法用傳統(tǒng)方法處理的大型數(shù)據(jù)集。那么這里所說(shuō)的傳統(tǒng)方法是指哪些呢?要回答這個(gè)問(wèn)題,就要看一看這些方法本來(lái)是為了解決什么問(wèn)題。

  在企業(yè)IT歷史中,最大的問(wèn)題是確保傳輸系統(tǒng)順暢,快捷且準(zhǔn)確地運(yùn)行。這一需求為IT打開(kāi)了一條通道,即專屬整體服務(wù)器上部署專屬關(guān)系型數(shù)據(jù)庫(kù)。

  當(dāng)規(guī)模較小,具有較高價(jià)值且結(jié)構(gòu)化的數(shù)據(jù)遭遇威脅要崩潰時(shí)比較適合選用傳統(tǒng)IT堆棧。例如,Web規(guī)模應(yīng)用就推動(dòng)了LAMP堆棧等需求,它可以滿足運(yùn)算分布并在大量商業(yè)服務(wù)器上提供服務(wù)。同樣,非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)式增長(zhǎng)導(dǎo)致存儲(chǔ)硬件相同的商品化需求。

  某種程度上,大數(shù)據(jù)意味著整個(gè)傳統(tǒng)IT堆棧的挑戰(zhàn)——即數(shù)據(jù)庫(kù),運(yùn)算和存儲(chǔ)。這就是為什么需要新堆棧(存儲(chǔ),MapReduce和Query)的原因。正如LAMP堆棧對(duì)IT的轉(zhuǎn)變,筆者相信大數(shù)據(jù)SMAQ堆棧也會(huì)改變IT。

  想象一下,假如你不僅能夠保存和服務(wù)十多億份文檔,還能夠?qū)@些文件執(zhí)行復(fù)雜的分析,例如分析文件之間的關(guān)聯(lián)模式。許多現(xiàn)有與大數(shù)據(jù)相關(guān)的技術(shù)來(lái)自于大型網(wǎng)絡(luò)公司處理這些問(wèn)題的項(xiàng)目。

  假設(shè),你不僅僅需要保存上百萬(wàn)份與天氣數(shù)據(jù)相關(guān)的文件,還需要分析與氣候改變模式相關(guān)的數(shù)據(jù)。那么問(wèn)題不僅僅涉及大量數(shù)據(jù)的保存,還需要利用那些對(duì)模式和趨勢(shì)有研究意義的數(shù)據(jù)。

  傳統(tǒng)數(shù)據(jù)庫(kù)遠(yuǎn)不止上述任務(wù)。各種設(shè)計(jì)的局限性使得關(guān)系型數(shù)據(jù)庫(kù)處理問(wèn)題的能力很出色,如保留傳輸記錄限制了數(shù)據(jù)庫(kù)的擴(kuò)展能力。幸好,上述分析通常不需要絕對(duì)的精確度。

  同樣,傳統(tǒng)存儲(chǔ)和運(yùn)算也不止這個(gè)任務(wù)。上述分析和存儲(chǔ)最好是通過(guò)將數(shù)據(jù)和存儲(chǔ)分配到大量商業(yè)存儲(chǔ)設(shè)備上執(zhí)行,再將運(yùn)算分配給大量運(yùn)算設(shè)備完成。你或許可以想象得到,輸入數(shù)據(jù)按順序在所有分布式設(shè)備上進(jìn)行處理,然后傳送到中間數(shù)據(jù)集。這些中間結(jié)果會(huì)精簡(jiǎn)到一個(gè)數(shù)據(jù)集中,而這個(gè)概括性的數(shù)據(jù)集就是所需的最終結(jié)果。這兩個(gè)過(guò)程分別叫做Map和Reduce,在SMAQ的首字母縮略語(yǔ)中標(biāo)記M。

SMAQ技術(shù):不斷發(fā)揮大數(shù)據(jù)的最大價(jià)值

  最近我們看到了首字母為M,A和Q的技術(shù)涌現(xiàn)出來(lái)。對(duì)于開(kāi)源愛(ài)好者而言,最令他們激動(dòng)的事情就是關(guān)注Hadoop生態(tài)系統(tǒng)。

  如我們常常看到的,存儲(chǔ)需要匹配剩余的IT堆棧。數(shù)據(jù)集本身需要高度分布。數(shù)據(jù)和大數(shù)據(jù)的運(yùn)算出現(xiàn)在種類繁多的分布式設(shè)備上。

  而且,由于將運(yùn)算導(dǎo)入數(shù)據(jù)比將數(shù)據(jù)導(dǎo)入運(yùn)算要容易,所以SMAQ堆棧的存儲(chǔ)部分需要確保所有未結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的安全而有效地分布到所有運(yùn)算節(jié)點(diǎn),且既可以被擴(kuò)展也可以滿足高性能的要求。這意味著大數(shù)據(jù)必須:

  a) 在廣布于互聯(lián)網(wǎng)的各種商業(yè)設(shè)備上運(yùn)行

  b) 為與分析相關(guān)的密集式數(shù)據(jù)處理提供性能幫助

  c) 避免設(shè)計(jì)失誤,如集中式元數(shù)據(jù)存儲(chǔ)以及大量遺留系統(tǒng)將存儲(chǔ)大小限制在16TB

  d) 允許在相同硬件上出現(xiàn)運(yùn)算和存儲(chǔ)功能。綜上所述,將運(yùn)算遷移到存儲(chǔ)的成本更低。不過(guò)如果存儲(chǔ)被鎖定那就會(huì)有些麻煩。

  e) 擴(kuò)展至PB級(jí)別甚至是EB級(jí)別。

  結(jié)論:專屬與整體的存儲(chǔ)方法不適合大數(shù)據(jù)。不過(guò),隨著大數(shù)據(jù)SMAQ技術(shù)的不斷發(fā)展,相信大數(shù)據(jù)存儲(chǔ)和存儲(chǔ)效益方面的價(jià)值會(huì)被充分地釋放出來(lái)。

原文鏈接:http://storage.it168.com/a2011/0828/1238/000001238679.shtml

熱詞搜索:

上一篇:下一代磁盤加密:Bitlocker管理和監(jiān)控
下一篇:針對(duì)EMC CX系列講解Raid類型及利弊權(quán)衡

分享到: 收藏