為了準確描述中國大數據市場和技術發展趨勢,解析大數據發展的各階段對IT技術的需求,2013年6月,中橋調研咨詢(以下簡稱中橋)對中國480家最終用戶的IT管理者和專業人員,就大數據市場和技術發展趨勢展開了調查。中橋首席分析師王叢結合其在歐美數據中心領域十幾年的市場調研積累,對中國大數據市場趨勢的調查數據進行解析,以詮釋中國大數據市場和技術趨勢。同時,會通過在線講座(www.webinars-china.com )和中國讀者解讀中國大數據市場趨勢,以及大數據對IT技術、IT架構、IT管理以及IT格局的影響。中橋結合對中國大數據市場的調研數據和分析,將分成四個系列對“中國大數據價值和趨勢”進行解讀。
在系列1里,中橋就大數據分析對未來24個月以及企業的大數據分析投入重點進行分析。在系列2 里,中橋將就大數據分析對IT資源的需求,包括IT架構、計算節點以及存儲技術等進行分析。
大數據分析對IT架構的需求
在大數據時代,隨著數據存儲量的爆炸性增長以及分層網絡架構的出現,IT復雜性達到了前所未有的高度,而大數據分析使得傳統IT架構更是不堪重負。那么從企業角度來看,他們的大數據環境需要怎樣的IT架構呢?中橋調查結果表明(圖1),企業級用戶(員工人數在1000人以上)主要選擇的是“透明、經濟、智能、自動化”的IT架構(29.3%),中小企業(員工人數在1000人以下)則主要選擇的是一體機方案(服務器、存儲、網絡、大數據分析軟件)(28.9%)。企業級用戶傾向于開放、異構、跨平臺的IT架構,因為其用于大數據分析的IT架構發展較為成熟,如何繼續提高BI效率是企業級用戶選擇IT架構的重點。中小企業尚處于IT架構發展初期,因此一體機的方案成為中小企業的首選。受訪者的選擇結果也體現了中國企業未來對IT架構的需求趨勢,說明數據整合和ETL是中國企業的迫切需求,也是目前面臨的最大問題之一。
圖1. 大數據環境對IT架構的需求
大數據分析對計算技術的需求
再從大數據分析的計算方式來看(圖2),21.6%和21.3%的企業級用戶分別考慮x86虛擬化和小型機來部署大數據分析方案,中小企業(23.8%)則主要考慮刀片服務器的計算方式。刀片服務器的高密度特點有利于提高計算能力、保持高IT密度。企業級的應用多數運行在小型機的平臺上,這造成如果大數據分析是在現有基礎上實現,則小型機就成為了企業級的首選;如果要選擇在一個全新平臺實現大數據分析,那么X86虛擬化就成為了企業級用戶的第一選擇。結合我們之前所分析的,目前中國市場的大數據分析速度和頻率遠低于歐美市場,這導致中國企業在數據分析,這個大數據通過IT創造價值,這一重要環節上比較薄弱。
▲圖2.大數據分析對計算技術的需求
大數據分析對存儲的需求
從大數據分析的第一個環節——數據收集和存儲來看,大數據時代應用數量、應用數據量和使用者數量的增長,對存儲IOPS以及OLTP和OLAP的要求越來越高,具體體現在存儲不能滿足業務關鍵型應用的需求。從中橋就企業支持當前數據分析和/或進程活動的存儲類型分析來看(圖3),FC SAN是企業級用戶(42.1%)和中型企業(34.0%)的首選,遠高于其他存儲類型的企業占比。這是因為FC SAN對OLTP和OLAP的性能穩定性優于其他存儲技術。這一調查結果也體現了,目前中國用戶大多處于大數據分析的第一階段,存儲和IT架構大多以集中式為主。隨著Hadoop和MapReduce的不斷普及,用戶逐漸進入近實時和實時分析階段,節點式存儲的占比會隨之逐漸增加。
▲圖3.大數據分析對存儲的需求
那么在大數據時代企業的存儲能夠滿足需求呢(圖4)?中橋調研結果顯示,31.6%的用戶計劃在未來12個月部署新存儲來滿足業務關鍵型應用的需求,33.2%計劃在未來12-24個月部署新存儲。這表明傳統存儲越來越無法滿足業務關鍵應用的性能需求。在未來24個月,64.8%的用戶將會部署新存儲來滿足大數據時代,業務關鍵型應用對存儲性能越來越高的需求。
▲圖4 大數據分析時代存儲的發展趨勢
通過上述一系列大數據對IT資源的需求分析,中橋分析師認為,傳統的IT架構、計算方式以及存儲正成為中國用戶通過大數據分析處理快速提高IT效率,挖掘數據價值的巨大阻礙。而統一、透明、智能的自動化IT架構管理、高密度下卓越的計算能力,以及能夠滿足存儲IOPS與OLTP和OLAP的新型存儲則能夠為企業創造價值,實現通過IT突破創新來提升企業競爭力的目的。
在接下來的系列3中,中橋將就大數據時代下存儲所面臨的挑戰以及其發展趨勢進行更為詳盡的闡述。