大數(shù)據(jù)將成為代替云計算的新一代熱門話題。這是必然的結(jié)果:隨著時間的推移,企業(yè)產(chǎn)生的數(shù)據(jù)量已經(jīng)越來越大了,這些數(shù)據(jù)包括客戶購買偏好趨勢、網(wǎng)站訪問和習(xí)慣、客戶審查數(shù)據(jù)等等;那怎樣才能把這么大的數(shù)據(jù)集整理成綜合形式呢?傳統(tǒng)的商業(yè)智能(BI)工具(關(guān)系型數(shù)據(jù)庫和桌面數(shù)學(xué)計算包)在處理企業(yè)海量數(shù)據(jù)時已經(jīng)有點不夠用了。當(dāng)然,數(shù)據(jù)分析行業(yè)也有開發(fā)工具和框架,支持?jǐn)?shù)據(jù)研究人員和分析師們挖掘大數(shù)據(jù)集,并能承受得了信息負(fù)載。
對于較大的公司來說,海量數(shù)據(jù)處理已經(jīng)不是什么新鮮東西了。例如,Twitter和LinkedIn已經(jīng)是大數(shù)據(jù)的著名用戶了。這兩家公司已經(jīng)各自形成了一套明顯的競爭優(yōu)勢,通過挖掘他們的大規(guī)模數(shù)據(jù)倉庫來識別趨勢。那么,中型企業(yè)CIO該怎么辦呢?幸運的是,手邊就有可用的工具。
這些工具中有一款是免費的,即基于Java的Apache Hadoop編程框架。該框架在過去一年到一年半時間里在大數(shù)據(jù)領(lǐng)域獲得了極大的市場。全球的行業(yè)專家和用戶們都把Hadoop稱為事實上的數(shù)據(jù)挖掘標(biāo)準(zhǔn)。縱觀現(xiàn)存其它大數(shù)據(jù)產(chǎn)品的表現(xiàn),再考慮到Apache Hadoop1.0版是在2011年11月底才發(fā)布的這一事實,Hadoop獲得這樣的認(rèn)可確實令人驚訝。Hadoop是如此流行,以至于Hortonworks公司CEO Eric Baldeschwieler預(yù)測在2017年它將處理全世界數(shù)據(jù)的半數(shù)之多。在接下來的這一年,Hadoop將會以某種方式靠近您的組織的幾率非常大。
Hadoop主要面向開發(fā)人員。其主要框架MapReduce支持編程者處理分布式計算機(jī)群的大規(guī)模數(shù)據(jù)量。缺點是它是非常重型的產(chǎn)品。而且,Hadoop可以把直接操作數(shù)據(jù)倉庫的技術(shù)人群與數(shù)據(jù)消費人群和數(shù)據(jù)翻譯員區(qū)分開來。
考慮到中型企業(yè)CIO的預(yù)算限制,下面有一些建議可以幫助克服海量數(shù)據(jù)的挑戰(zhàn):
不要忽略了趨勢。大數(shù)據(jù)不會消失,不能忽略大塊數(shù)據(jù)分析轉(zhuǎn)換能力和分析數(shù)據(jù)趨勢。花一些時間理解Hadoop以及其它大數(shù)據(jù)產(chǎn)品的功能和結(jié)構(gòu)。思考一下你擁有數(shù)據(jù)的方式可以為你的公司帶來改善。
為合格的數(shù)據(jù)科學(xué)家尋找預(yù)算空間。這些人是您BI交響曲的打擊樂器。市場上合格的數(shù)據(jù)科學(xué)家非常緊缺。甚至在去年11月份的Hadoop世界大會上,培訓(xùn)也成為了一個很大的話題。要使用你培訓(xùn)預(yù)算的自由額度聘請最好的人員,保持他們的數(shù)據(jù)分析技能是頂尖的。
理解大量數(shù)據(jù)集的存儲提示。大數(shù)據(jù)其實是從多個地方和多個數(shù)據(jù)庫以近乎實時的速度挖掘海量數(shù)據(jù),而不會受到結(jié)構(gòu)的障礙。這就使得你基礎(chǔ)設(shè)施中的存儲工作方式更加復(fù)雜了。對于這些奴表,云存儲可能會更靈活和敏捷嗎?要與你的數(shù)據(jù)挖掘策略團(tuán)隊一起,使其優(yōu)先理解利用Hadoop處理能力的存儲需求類型和數(shù)量。
準(zhǔn)備好使用Hadoop的工具集。理解微軟公司在這個領(lǐng)域的登場,試驗一下Hadoop-Excel和Hadoop-SQL Server集成看看你能交付什么類型的結(jié)果。也要了解一下IBM公司的工具,看哪一款更適合您在桌面和終端用戶軟件方面的現(xiàn)有投入。
大數(shù)據(jù)的角逐已經(jīng)開始了。可能在數(shù)據(jù)挖掘變革中你已經(jīng)落后了。忽略數(shù)據(jù)分析大勢的CIO們實際上是在拿自己的職業(yè)冒險。然而,對于已經(jīng)跳入大數(shù)據(jù)領(lǐng)域并提取關(guān)鍵見解的CIO們,全世界都將在他們的掌握之中。