在Kaggle舉辦的一個有關汽車人身傷害責任險的“汽車索賠預測大賽”上,202個來自全球各地的大數據分析愛好者基于Allstate提供的過去三年的車型數據、汽車配置參數和人身傷害索賠歷史數據,給出未來兩年這些車型的索賠預測。這在場總獎金只有1萬美元的競賽中,優勝者給出的預測結果比贊助該賽事的汽車廠商的專業人士的預測結果準確性高340%。更準確的結果將有助于廠商改進其產品,并制定更有效的定價策略。
當大數據業余愛好者戰勝大型汽車企業BI專家的時候,我們必須承認,“大數據”絕不是企業BI產品的新式宣傳口號,而是一個擁有無限潛能的商業財富引擎,隨著大數據相關算法、工具和技術的不斷成熟,我們已經站到了一場斷層式革命的邊緣。大數據領域正呈現以下四大發展趨勢:
一、計算資源的極大豐富。包括處理能力、帶寬、存儲、內存性能的提升和成本的降低已經來到了Autodesk首席執行官Carl Bass所稱的“無限計算”的引爆臨界點。
二、大數據資源極大豐富。眾所周知,過去兩年地球上新增的數據比過去人類產生的所有數據之和還多。搜索引擎、博客、社交媒體、移動設備、傳感器都在噴涌數據。過去只有企業關系型數據庫里才能見到的高價值數據如今已是“遍地黃金”。
三、大數據工具的不斷發展。全球企業對Hadoop狂熱追逐已經表明企業對大數據工具和軟件的旺盛需求,這也會反過來推動大數據工具的高速發展(例如沃爾瑪破天荒決定開源其大數據工具)。
四、機器學習的不斷成熟。IBM的沃森電腦可以在智力搶答游戲中擊敗人類冠軍,同樣也可以用于識別信用欺詐和預測不同車型的人身傷害責任險索賠金額。