在《大數(shù)據(jù)將給我們帶來怎樣的變化?(上)》中，我們分析了大數(shù)據(jù)的真正含義，以及業(yè)內(nèi)對其的誤解。下面，我們將通過一些具體的案例來展現(xiàn)，大數(shù)據(jù)時(shí)代的來臨，將給我們的商業(yè)模式帶來怎樣的變化。

　　新型RDBMS

　　行業(yè)觀察家們認(rèn)為升級后的關(guān)系數(shù)據(jù)庫管理系統(tǒng)就是大數(shù)據(jù)，這是無需爭辯的。Olofson說：“我認(rèn)為它滿足更快，更大，更便宜這三個(gè)衡量標(biāo)準(zhǔn)”。比如天睿資訊公司的系統(tǒng)就是個(gè)例子，它比以前更便宜，而且自身也是一個(gè)可擴(kuò)展的聚合系統(tǒng)，他補(bǔ)充道。

　　但其他人卻不這么認(rèn)為。 “通常使用RDBMS和標(biāo)準(zhǔn)BI工具進(jìn)行的一般性處理其實(shí)不能算是大數(shù)據(jù)，”高德納公司數(shù)據(jù)管理分析師Marcus Collins說。 “這種處理很早之前就有了。”

　　那么，誰在真正使用大數(shù)據(jù)呢?

　　一年前，大數(shù)據(jù)技術(shù)的主要用戶還都是像Facebook和雅虎這樣的大型互聯(lián)網(wǎng)企業(yè)，它們希望借此技術(shù)分析點(diǎn)擊流數(shù)據(jù)。但今天，“這項(xiàng)技術(shù)的使用已經(jīng)不僅限于這些大型網(wǎng)絡(luò)公司了，它正在走進(jìn)任何你能想到的存有大量數(shù)據(jù)的公司，”Collins 說。銀行，公共事業(yè)單位，智能社區(qū)—都已搭上了大數(shù)據(jù)這趟列車。

　　雖然大數(shù)據(jù)的某些技術(shù)還不成熟，存在使用風(fēng)險(xiǎn)，但還是有一些人對它非常熱衷，因?yàn)樗麄冃枰@些技術(shù)，比如建立由社會化媒體推動的網(wǎng)絡(luò)服務(wù)時(shí)就要用到其中的某些技術(shù)。這些試吃螃蟹的人對這些項(xiàng)目的發(fā)展做出了很大的貢獻(xiàn)。

　　同樣地，大數(shù)據(jù)技術(shù)也已經(jīng)對Catalina公司產(chǎn)生了革命性的影響。 這家位于佛羅里達(dá)圣彼得斯堡的公司有一個(gè)2.5PB的大型客戶忠誠度數(shù)據(jù)庫，里面存有1.9億多家美國雜貨店多年來的購買歷史記錄。其中最大的一個(gè)單數(shù)據(jù)庫里就有多達(dá)4250億行數(shù)據(jù)，僅這一個(gè)數(shù)據(jù)庫中，每天公司需要處理的數(shù)據(jù)就有6.25億行。

　　通過分析這些數(shù)據(jù)，Catalina幫助消費(fèi)商品主要生產(chǎn)商和大型連鎖超市預(yù)測消費(fèi)者可能買什么，以及誰會對新產(chǎn)品感興趣。

　　“我們想把技術(shù)應(yīng)用于數(shù)據(jù)，而不是把數(shù)據(jù)丟給技術(shù)”，Eric Williams，Catalina執(zhí)行副主席兼CIO說。 “現(xiàn)在已經(jīng)有了能讓SAS這樣的公司將它們的分析技術(shù)應(yīng)用于數(shù)據(jù)庫的技術(shù)了，整個(gè)公司因此產(chǎn)生了很大的改變。我們過去一直在這么做，但受到了很大的限制，因此無法深入到我們想到的程度。因此我們只能使用自己研發(fā)的工具，但因?yàn)檫€很初級，所以它能完成的工作非常有限。大數(shù)據(jù)技術(shù)對我們而言真是及時(shí)雨啊，它改變了整個(gè)公司。”

　　除了在自己的專有系統(tǒng)中使用了一些開源軟件之外，Catalina也在Netezza數(shù)據(jù)庫平臺中使用了SAS分析法。

　　一些公司正在“開發(fā)可通用于基于Intel的硬件的技術(shù)，這種技術(shù)可使硬件具備操作二級和三級產(chǎn)品的能力，例如SAS分析法的計(jì)分法就可直接應(yīng)用于運(yùn)行數(shù)據(jù)庫的Netezza(軟件)，”Williams 說。 “能使用這項(xiàng)技術(shù)并將其直接作用于數(shù)據(jù)庫意味著Catalina可以將數(shù)據(jù)開采方案的研發(fā)時(shí)間從數(shù)周縮減到大約幾個(gè)小時(shí)。”

　　根據(jù)2010年10月美國銀行主管大數(shù)據(jù)和分析法的前總經(jīng)理Abhishek Mehta在Hadoop World大會上的發(fā)言，大數(shù)據(jù)正在從根本上改變美國銀行的營業(yè)模式。 “我覺得現(xiàn)在的Hadoop就像是20年前的Linux。我們都已經(jīng)看到了Linux對企業(yè)軟件領(lǐng)域的發(fā)展作出的貢獻(xiàn)。軟件行業(yè)被極大程度地分化了，Hadoop將來也一樣，討論其是否會發(fā)生已經(jīng)完全沒有意義，目前的焦點(diǎn)在于它什么時(shí)候到來。”

　　除了能進(jìn)行點(diǎn)擊量和交易分析之外，Hadoop 還可以讓美國銀行具備快速處理業(yè)務(wù)問題的能力。 “現(xiàn)在，作為銀行的一員，我已經(jīng)可以想到欺騙行為消失的那天了，”Mehta說。“現(xiàn)在我已經(jīng)可以建一個(gè)模型，把過去五年里發(fā)生在個(gè)人身上的每一起詐騙案例都存進(jìn)去，而不是只抽取幾個(gè)樣本建個(gè)模型，發(fā)現(xiàn)了模型里沒有的新案例時(shí)，就重新建一次模型。這樣的日子已經(jīng)過去了。”

　　公共事業(yè)行業(yè)也正在意識到指尖敲擊之下產(chǎn)生的巨大數(shù)據(jù)量，以及這些數(shù)據(jù)會帶來的價(jià)值。一家美國中西部的公共事業(yè)單位已經(jīng)在使用Hadoop 分析智能儀表收集的錄入信息了，以前這些智能儀表主要被用來作記賬自動化，但也能收集關(guān)于線路安培數(shù)的波動信息。 “如果你收集到這方面的信息后對其進(jìn)行分析，你會發(fā)現(xiàn)某個(gè)地方的轉(zhuǎn)換器將會出現(xiàn)故障，從而能提前采取應(yīng)對措施。”Olofson說。 “或者如果發(fā)生了供電中斷，他們會在用戶打電話詢問前及時(shí)發(fā)現(xiàn)情況并采取行動。”

　　沿著這個(gè)思路，他還看到公共事業(yè)單位使用大數(shù)據(jù)將帶來的其他好處—通過監(jiān)控和檢測電網(wǎng)以及對電網(wǎng)進(jìn)行微調(diào)來改善客戶服務(wù)質(zhì)量，減少運(yùn)行成本--但如此一來可能需要對老化的基礎(chǔ)設(shè)計(jì)進(jìn)行有效升級。

　　品牌營銷商們正在用Hadoop對社會化媒體作情感分析實(shí)驗(yàn)。現(xiàn)在越來越多的服務(wù)供應(yīng)商也開始使用Hadoop，幫自己的客戶篩選Twitter用戶們正熱衷于談?wù)摰漠a(chǎn)品，以及對這些產(chǎn)品有怎樣的想法。

　　繼續(xù)保持謹(jǐn)慎

　　大數(shù)據(jù)技術(shù)發(fā)展很快。目前正在使用該技術(shù)的公司有一大批技術(shù)上格外出眾的IT員工，能對技術(shù)的進(jìn)步并根據(jù)公司要求做出適當(dāng)調(diào)整。

　　“如果你還沒有能力這么做，那就去找一家服務(wù)供應(yīng)商來合作吧--比如找一家云服務(wù)公司--或者再等一等，等到大數(shù)據(jù)發(fā)展到一定程度就有大量成熟的軟件產(chǎn)品和服務(wù)了。”Olofson 建議說。 “到時(shí)候至少有些東西是你的員工可以理解的了。”

　　毫無疑問，數(shù)據(jù)讀取方式已經(jīng)發(fā)生了根本性地轉(zhuǎn)變。但分析師們認(rèn)為大數(shù)據(jù)技術(shù)不會徹底取代現(xiàn)在的數(shù)據(jù)庫和數(shù)據(jù)讀取工具。

　　“現(xiàn)在的數(shù)據(jù)處理唯一做的就是建立相對復(fù)雜的模型，里面沒有太多的數(shù)據(jù)。”高德納公司的Collins說。“而如今的大數(shù)據(jù)會給你大量的數(shù)據(jù)--所以你應(yīng)該不再需要那么復(fù)雜的模型了。這可能意味著數(shù)據(jù)處理模式已經(jīng)完成了升級。”

　　“我的觀點(diǎn)是數(shù)據(jù)庫市場事實(shí)上將因此得到擴(kuò)展，”Olofson說。 “他們會使用像MapReduce這樣的技術(shù)，不論是通過Hadoop或是其它的廣告宣傳，來生成一些有趣的商業(yè)智能數(shù)據(jù)，這些數(shù)據(jù)在以前是根本無法得到的。然后，為了再次使用這些數(shù)據(jù)并追蹤歷史模型，他們將把它們存入數(shù)據(jù)庫并真正擴(kuò)大它的使用范圍。”

　　是否具備擴(kuò)展能力是一個(gè)挑戰(zhàn)，Collins說，另一個(gè)挑戰(zhàn)是“還沒有成形的結(jié)構(gòu)模型來利用該項(xiàng)技術(shù)。我們還在一邊學(xué)習(xí)一邊摸索。”

　　他說，隨著軟件包的引入，附帶在軟件包里的某些工具正在導(dǎo)致技術(shù)風(fēng)險(xiǎn)的擴(kuò)散，但這項(xiàng)技術(shù)主要還是一個(gè)編程接口--這對于商務(wù)智能而言是一種倒退。比如，Collins說“Hadoop是一個(gè)技術(shù)含量很高的系統(tǒng)，商務(wù)智能的發(fā)展將其推向了普通企業(yè)，進(jìn)入了桌面電腦之中，并擁有一個(gè)非常友好的界面。”我們已經(jīng)讓Hadoop退了一步，新的賣家們將幫助它回到用戶社區(qū)，那個(gè)它應(yīng)該去到的地方。

　　“大數(shù)據(jù)應(yīng)該跳出IT的圈子，而且我們必須把工具放到業(yè)務(wù)部門用戶的手里”他補(bǔ)充道。 “但現(xiàn)在這種想法還沒有實(shí)現(xiàn)。”

原文鏈接：http://storage.it168.com/a2011/0906/1243/000001243110.shtml