IDC中國在10月份剛剛發布了《中國大數據技術與服務市場2012-2016年預測與分析》報告,其中的數據顯示,中國大數據技術和服務市場未來5年的復合增長率將達51.4%。報告中指出,淘寶、騰訊,以及百度等互聯網巨頭是率先使用大數據技術的用戶,同時電信和銀行領域也開始對大數據技術和服務產生濃厚的興趣。
Gartner也預測,到2015年,大數據將為全球帶來440萬個IT崗位,其中96萬個IT崗位會在亞太地區。每個大數據相關的崗位將催生三個非IT的就業機會,從而使亞太地區的就業機會總計達到40萬個。種種數據表明,大數據不僅會為人們的日常生活帶來影響,對整個IT生態鏈也是一個巨大的機遇。
生活中的大數據
對于普通的用戶來說,雖然不必關心大數據的概念究竟是什么,但一些案例卻可以直入生活。就拿剛剛過去的11月11日,天貓商城所創造的191億元銷售額的傳奇來說,商家已經懂得了如何利用用戶以往的購買記錄去推送有針對性的商品。還有沃爾瑪創造的“尿布+啤酒”的營銷傳奇至今還在被人們津津樂道。尿布、啤酒這看似兩種針對客戶群完全不同的產品,卻在沃爾瑪的銷售記錄里創造了令人驚奇的搭配效果。這個故事講的是,如果太太讓先生去樓下買尿布時,先生一般都會按照自己的需求再順帶捎上兩聽啤酒,因而啤酒和尿布被一起購買的機會最多。這個案例是由沃爾瑪商場的智能化信息分析系統挖掘出來的秘密,這個系統讓沃爾瑪成為了“最了解消費者”的零售商,而這個故事也成為了大數據影響人們日常生活的一個經典案例。
作為都靈大學腫瘤學系的私營且非嬴利機構,該校的癌癥研究所一直致力于了解癌癥基本機理,為病人提供最佳診斷和治療服務。目前,研究人員努力讓他們大量的研究數據變得更具有意義。他們最新采用了來自Kairos3D 公司生產的名為GenomeCruzer的產品。GenomeCruzer由Gilgamesh大數據3D可視化引擎驅動,提供一個整合有數據模式和關系、且能夠讓整個數據集被看到和開發的環境。癌癥研究所的Enzo Medico博士說:“這個神奇的工具提升了我們對龐大數據集的利用率,并獲得了前所未有的數據分析速度。該工具的這一優勢已經被確認。”這種最新的交互式3D大數據可視化可以推進癌癥研究進程,縮短癌癥治療過程。
上述的兩個例子已經足以讓我們意識到大數據帶來的益處。不僅是在零售、醫療行業,PMC公司企業存儲事業部市場營銷副總裁Derek Dicker表示:“在眾多垂直行業中,數據量都在快速增長。例如石油、天然氣、氣候建模和預報、生命科學等行業。”以氣候行業為例,政府機構在研究氣象模式時需要創建并分析大數據集,從而更加準確地預報氣候變化的強度、方向,以及持續時間,這將影響數百萬人的日常生活。為了實現上述的案例,一個大數據分析平臺必不可少,為大數據而生的新興技術也開始層出不窮。
阿里云的大數據經驗
伴隨著大數據概念的火熱,以一只大象為代表的Hadoop迅速席卷了IT人士的視野。這種分布式的計算模式幾乎成為了公認的大數據處理模式,隨之而來的,是IT巨頭紛紛加入Hadoop陣營。雖然開源是個大趨勢,但ESG中國區總經理王叢也認為用戶想要真的去利用Hadoop部署自己的項目,首先需要的就是雇傭大量的人才去學習Hadoop,人才成本比較高。同時我們也可以看到,國內也出現了一些擁有自主知識產權的大數據處理平臺。阿里云是其中的佼佼者。
阿里云作為阿里巴巴旗下的一員,相比淘寶、支付寶等公司低調許多,但當它所自主創建的分布式計算系統進入人們眼簾時,引起了業內的巨大反響。阿里云所涉及的業務包含了彈性計算、大規模存儲、大規模數據處理、搜索、地圖、郵箱等等服務。在阿里云平臺發展的過程中,研發過程也曾受阻,期間也曾遭到質疑,但不可否認的是,阿里云目前已經擁有了龐大的用戶群,并且在打造“以數據為中心的開放云計算服務平臺”的道路上越走越順。
阿里云計算有限公司研究員薛貴榮在接受記者采訪時表示,目前接入阿里云的注冊用戶達到170多萬,平臺租戶已經超過了5000家,直接或者間接享受阿里云平臺服務的終端用戶則可達到上億的用戶。而阿里云最為看重的就是“數據”。結合當前的大數據熱潮,阿里云的目的就是提供強大的計算能力,幫助用戶去處理新時代的石油——數據。
薛貴榮介紹,經過三年的發展,阿里云打造成了完全自主研發的大規模分布式計算系統——飛天。該系統除了MapReduce之外,還支持最廣泛的多種編程模型。而且,阿里云的技術人員在這個同一平臺之上實現了數據存儲、彈性計算、搜索等多項功能。而這種功能,除了阿里云,世界上也只有Google能夠做到。而阿里云的戰略,我們也可以解讀為Amazon+Google并有所超越,用Google模式的技術去做Amazon模式的運營。
結合當前的Hadoop熱潮,或許有讀者會感到困惑,費了半天勁自己研發了一個大數據平臺,為何不直接使用Hadoop呢?對此問題,阿里云有自己的看法。阿里云總裁王堅曾經說:“Hadoop在離線大數據處理上很有價值,但它無法解決我們公司公共云計算服務的問題。因為我們已經上線的云服務已遠遠超出Hadoop的能力,這和公司的定位有關。現在,飛天已經很好地支持了阿里云的各項業務,其中包括大數據處理,在這方面,飛天實際已經超越了Hadoop。”
薛貴榮也表示,如果沒有一個專業性較強的Hadoop團隊去維護,Hadoop的能力上升會受到限制。不管如何,在經歷了質疑、阻礙之后,飛天成功了。而之后,飛天將會在阿里云技術團隊的維護下,繼續擴充自身的計算能力,提供更加廣泛的大數據處理服務。
談到當前的大數據問題,薛貴榮總結了以下四個經驗與讀者進行分享:
第一,就是云計算平臺的建設。對于大數據而言,后端的處理能力是基礎,這也是阿里云最近三年一直致力在做的事情。以搜索業務為例,要想把全世界的萬億級別的網頁全部索引一遍,單單依靠一臺機器去處理是完全不可能實現的。因此,對于大數據的處理平臺來說,如何將幾千、幾萬臺的機器做成一個集群是最為重要的事情。這種大規模的分布式計算系統是飛天系統的核心。
薛貴榮介紹,飛天從第一行代碼開始就是自己寫的,目前這個分布式計算模式也在積極與ISV進行合作,以便能夠為其他行業的用戶提供一種“自主”的大數據處理工具。
第二,薛貴榮表示,大數據平臺需要有智能化的技術。他以“命題作文”為例,大數據平臺不能是根據問題去尋找答案,而是應該智能地向用戶提供有價值的信息。以IBM的機器人沃森為例,他能夠回答非固定的問題,后端需要的是一個強大的分析系統。目前在人工智能領域的深度學習、自學習以及終生學習等都取得一些突破性的進展,值得去嘗試。
第三,是成本問題。薛貴榮表示,大數據不能成為一個燒錢的項目,所以對于用戶而言,成本很重要,因而在阿里云的集群中全部采用了價格比較低廉的PC服務器。這也是大數據與云計算相呼應的地方。云計算可以為大數據的處理提供一個彈性、低成本的平臺,而大數據又促進了云計算的發展。
總而言之,對于一個強大的大數據分析平臺來講,智能化、彈性、集群的擴展能力都必不可少。但最基礎的部分,底層的IT基礎設施必須足夠強大,才能夠應付上層的這么許多應用。因此包括設備提供商、芯片制造商也