大數(shù)據(jù)這一概念的存在已有些時(shí)日，不過(guò)其濫用程度快超過(guò)了“云”

　　有趣的是，一些大型的傳統(tǒng)存儲(chǔ)供應(yīng)商正接受這一概念，似乎這個(gè)名詞已經(jīng)成了大型數(shù)據(jù)集及其產(chǎn)品的代名詞。大數(shù)據(jù)實(shí)際上與傳統(tǒng)存儲(chǔ)供應(yīng)商的技術(shù)和商業(yè)模式都成對(duì)立關(guān)系。

　　一個(gè)正在形成的共識(shí)是：大數(shù)據(jù)不僅僅是指大量數(shù)據(jù)，而是特指無(wú)法用傳統(tǒng)方法處理的大型數(shù)據(jù)集。那么這里所說(shuō)的傳統(tǒng)方法是指哪些呢?要回答這個(gè)問(wèn)題，就要看一看這些方法本來(lái)是為了解決什么問(wèn)題。

　　在企業(yè)IT歷史中，最大的問(wèn)題是確保傳輸系統(tǒng)順暢，快捷且準(zhǔn)確地運(yùn)行。這一需求為IT打開(kāi)了一條通道，即專屬整體服務(wù)器上部署專屬關(guān)系型數(shù)據(jù)庫(kù)。

　　當(dāng)規(guī)模較小，具有較高價(jià)值且結(jié)構(gòu)化的數(shù)據(jù)遭遇威脅要崩潰時(shí)比較適合選用傳統(tǒng)IT堆棧。例如，Web規(guī)模應(yīng)用就推動(dòng)了LAMP堆棧等需求，它可以滿足運(yùn)算分布并在大量商業(yè)服務(wù)器上提供服務(wù)。同樣，非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)式增長(zhǎng)導(dǎo)致存儲(chǔ)硬件相同的商品化需求。

　　某種程度上，大數(shù)據(jù)意味著整個(gè)傳統(tǒng)IT堆棧的挑戰(zhàn)——即數(shù)據(jù)庫(kù)，運(yùn)算和存儲(chǔ)。這就是為什么需要新堆棧(存儲(chǔ)，MapReduce和Query)的原因。正如LAMP堆棧對(duì)IT的轉(zhuǎn)變，筆者相信大數(shù)據(jù)SMAQ堆棧也會(huì)改變IT。

　　想象一下，假如你不僅能夠保存和服務(wù)十多億份文檔，還能夠?qū)@些文件執(zhí)行復(fù)雜的分析，例如分析文件之間的關(guān)聯(lián)模式。許多現(xiàn)有與大數(shù)據(jù)相關(guān)的技術(shù)來(lái)自于大型網(wǎng)絡(luò)公司處理這些問(wèn)題的項(xiàng)目。

　　假設(shè)，你不僅僅需要保存上百萬(wàn)份與天氣數(shù)據(jù)相關(guān)的文件，還需要分析與氣候改變模式相關(guān)的數(shù)據(jù)。那么問(wèn)題不僅僅涉及大量數(shù)據(jù)的保存，還需要利用那些對(duì)模式和趨勢(shì)有研究意義的數(shù)據(jù)。

　　傳統(tǒng)數(shù)據(jù)庫(kù)遠(yuǎn)不止上述任務(wù)。各種設(shè)計(jì)的局限性使得關(guān)系型數(shù)據(jù)庫(kù)處理問(wèn)題的能力很出色，如保留傳輸記錄限制了數(shù)據(jù)庫(kù)的擴(kuò)展能力。幸好，上述分析通常不需要絕對(duì)的精確度。

　　同樣，傳統(tǒng)存儲(chǔ)和運(yùn)算也不止這個(gè)任務(wù)。上述分析和存儲(chǔ)最好是通過(guò)將數(shù)據(jù)和存儲(chǔ)分配到大量商業(yè)存儲(chǔ)設(shè)備上執(zhí)行，再將運(yùn)算分配給大量運(yùn)算設(shè)備完成。你或許可以想象得到，輸入數(shù)據(jù)按順序在所有分布式設(shè)備上進(jìn)行處理，然后傳送到中間數(shù)據(jù)集。這些中間結(jié)果會(huì)精簡(jiǎn)到一個(gè)數(shù)據(jù)集中，而這個(gè)概括性的數(shù)據(jù)集就是所需的最終結(jié)果。這兩個(gè)過(guò)程分別叫做Map和Reduce，在SMAQ的首字母縮略語(yǔ)中標(biāo)記M。

　　最近我們看到了首字母為M，A和Q的技術(shù)涌現(xiàn)出來(lái)。對(duì)于開(kāi)源愛(ài)好者而言，最令他們激動(dòng)的事情就是關(guān)注Hadoop生態(tài)系統(tǒng)。

　　如我們常常看到的，存儲(chǔ)需要匹配剩余的IT堆棧。數(shù)據(jù)集本身需要高度分布。數(shù)據(jù)和大數(shù)據(jù)的運(yùn)算出現(xiàn)在種類繁多的分布式設(shè)備上。

　　而且，由于將運(yùn)算導(dǎo)入數(shù)據(jù)比將數(shù)據(jù)導(dǎo)入運(yùn)算要容易，所以SMAQ堆棧的存儲(chǔ)部分需要確保所有未結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的安全而有效地分布到所有運(yùn)算節(jié)點(diǎn)，且既可以被擴(kuò)展也可以滿足高性能的要求。這意味著大數(shù)據(jù)必須：

　　a) 在廣布于互聯(lián)網(wǎng)的各種商業(yè)設(shè)備上運(yùn)行

　　b) 為與分析相關(guān)的密集式數(shù)據(jù)處理提供性能幫助

　　c) 避免設(shè)計(jì)失誤，如集中式元數(shù)據(jù)存儲(chǔ)以及大量遺留系統(tǒng)將存儲(chǔ)大小限制在16TB

　　d) 允許在相同硬件上出現(xiàn)運(yùn)算和存儲(chǔ)功能。綜上所述，將運(yùn)算遷移到存儲(chǔ)的成本更低。不過(guò)如果存儲(chǔ)被鎖定那就會(huì)有些麻煩。

　　e) 擴(kuò)展至PB級(jí)別甚至是EB級(jí)別。

　　結(jié)論：專屬與整體的存儲(chǔ)方法不適合大數(shù)據(jù)。不過(guò)，隨著大數(shù)據(jù)SMAQ技術(shù)的不斷發(fā)展，相信大數(shù)據(jù)存儲(chǔ)和存儲(chǔ)效益方面的價(jià)值會(huì)被充分地釋放出來(lái)。

原文鏈接：http://storage.it168.com/a2011/0828/1238/000001238679.shtml