何為大數據
按照現在較為普遍的定義,大數據是誕生于各類終端中產生的龐大的分結構化數據,而擁有存儲、分析該數據的能力就是大數據技術。
根據IDC的定義,高容量、多樣化、持續性和高價值是大數據的四個特點,包括基礎架構、數據管理、分析挖掘和決策支持四個層面。
物聯網、云計算、PC、平板電腦、傳感器都是這些數據的來源。如果說云計算等布局首先是滿足數據的收集,那大數據技術就等于是數據分析能力的升級。
這個最早從麥肯錫報告出現的詞匯變得非常熱門。IDC預測,到2015年,全球大數據市場將達到170億美元規模。
大數據技術探索實例
中國聯通就在使用大數據技術。據中國聯通研究院副院長黃文良介紹,聯通部署了一套Hadoop系統的大數據平臺,可以實現用戶查詢自己的3G流量使用情況。
隨著3G用戶的增加,智能手機可能出現各類大流量,而用戶并不清楚自己的流量去處,存在很多投訴,聯通這個平臺就是統計3G流量列表的一個嘗試。
據他介紹,支持用戶查詢3G上網記錄需要大量的數據,而用傳統的數據庫無法滿足百億條數據的快速搜索能力,這一套新的平臺就是研究院的一個嘗試。
該系統部署在北京,用了178臺基于英特爾處理器的刀片服務器,每臺配了14TB的內存,加上Name節點,然后用Hadoop發行版實現了對數據的管理。
該系統可以讓聯通用戶隨時查清每天的流量情況,包括使用位置、3G還是2G,起始時間等。
另一個開始用大數據技術的是國內安防類領頭企業海康威視。海康威視副總裁兼CTO蔣海清介紹,目前全國在部署平安城市的應用,而城市視頻監控的記錄都是海量的存儲,而大數據平臺實現了智能化監控。
據介紹,海康威視開發的城市智能交通應用典型解決方案,一個城市為例,年過車信息數據達到百億級,從信息中提取車牌、車身顏色,就可以很快查出車牌、號碼、軌跡、違章等,而接下來的關聯分析就是基于大數據的基礎展開。
海康威視還在嘗試做面向公眾的視頻監控服務,出現報警情況就可以用手機通知業主,而平臺會判斷是否為誤判,這樣大基數數據的使用就需要新的技術。
另外還有北京億贊普這樣的企業,這家企業為全國各類實業企業提供工廠直接傳遞到用戶的信息平臺,使廠商可以通過碎片化的信息分析目標市場。
大數據并不是一個全新的技術,但從目前的嘗試來看,大數據技術還只是開始實現數據的存儲和管理,深入分析能力還達不到行業的預期。
IDC對大數據的十大預測
IDC對大數據未來的發展做出了十大預測,也代表了行業對大數據熱點的預期。
預測包括:一、走向商業化;二、部分早期的Hadoop項目面臨挑戰;三、開源軟件帶來機遇;四、大數據加劇軟件公司間的并購;五、針對大數據的Appliance市場迅速增長;六、大數據的網絡數據處理走向企業級;七、大數據催生更多細分市場;八、打包的大數據行業分析應用出現;九、基礎架構向Scale Out發展;十、中國成全球最重要的大數據市場。
IDC預測,大數據發展最快的首先是軟件行業,而基于開源平臺的分析類應用軟件將快速發展。有能找到合適的需求而很快做出預期性能的企業將出現并購能力。
IDC中國企業級系統與軟件研究部高級研究經理周震剛還認為,中國將成為全球最重要的大數據市場,而中國企業在其中有著巨大的發展機會。
全球性IT巨頭都開始關注大數據的機遇,IBM、微軟、英特爾、甲骨文等都在開發基于大數據需求的IT架構,而其中硬件提供商有更大的市場動力,因為大數據的應用都意味著更多的IT采購。
發展契機是應用本身的進步
雖然有巨頭的躍躍欲試,但真正符合大數據預期的仍是以應用為主。微博和Facebook時代的到來可以說為大數據提供了最好的土壤。對于一個商業公司,一個能基于社交網絡龐大信息庫的消費者偏好分析系統的吸引力遠大于一堆IT設備,而這樣的應用才是大數據真正的吸引力。
和基于經驗的傳統決策不同,大數據時代的決策可以提供統計理論上的依據,而之前的行業經驗也在被逐漸搬移到自己的大數據系統中。
英特爾軟件與服務事業部中國區總經理何京翔認為,電信運營商利用大數據技術對用戶的行為習慣進行分析,就能更有針對性地制訂市場營銷計劃或開發出更多全新的商業模式和服務;金融行業能借該技術更快速地分析在金融機構之間交換的營銷與交易數據,以確保交易的安全可靠和防欺詐;智能城市及物聯網領域則可借大數據技術更快實現智能交通監控、智能公共安全、氣象和污染變化的智能監控及預測等應用。
而這些應用對軟件企業意味著巨大的機遇。因為它們都是行業應用或定制化應用,目前還沒有一個通用產品能實現這一切。分析認為,隨著企業的投入,新的行業領先者將開始誕生。