亚洲成精品动漫久久精久,九九在线精品视频播放,黄色成人免费观看,三级成人影院,久碰久,四虎成人欧美精品在永久在线

掃一掃
關注微信公眾號

三種平臺部署方式 讓CIO大數據實踐事半功倍
2013-01-29   至頂網


1.套裝軟件搭配自組硬件
 
  目前包括Hadoop、Greenplum以及Aster Data都有純軟件產品以及軟硬件整合的一體機產品,如果企業選擇以純軟件產品,雖然具有可以自由搭配硬件的優勢,但卻也相對挑戰企業的技術能力,因為軟件的數據處理效能是否可以充分發揮,往往與所搭配的硬件規格、平臺架構以及系統調校有關。
 
  一般來說,企業在評估數據處理平臺時,如果選擇采用軟件型態的解決方案,通常都具有強大的系統架構規畫能力與維護能力。不過,臺灣有家晶圓公司為了解決大數據問題,1年多前開始尋找各種軟硬件的大數據解決方案,最后則決定以Hadoop搭配x86架構,作為發展大數據處理平臺的主軸。然而,在第一階段的概念驗證結束后,這家晶圓廠商公司小規模試行,并且部署了10~20臺服務器,卻發現數據處理效能不如預期,理論上,以Hadoop架構可以幾分鐘完成的數據量,最后卻花費了1小時,其中的關鍵在于企業IT人員對Hadoop技術的掌握能力不足,以致于造成MapReduce程式與HDFS、Linux相互爭奪硬件資源,最后導致當機。
 
  2.軟硬件整合的一體機
 
  相較于軟件解決方案的技術門檻,以硬件形式推出的一體機,不僅同時具有軟硬件整合的優勢,更重要是,系統效能調校也已經做到最佳化,對于企業來說,采用一體機可以大幅節省部署大數據處理平臺的時間,后續的維護也比較輕松,不過,一體機通常會配置比較貴的硬件,因此,成本效益的考量仍舊是企業必須斟酌的地方。
 
  目前IBM、Teradata、惠普、甲骨文、精誠資訊Etu以及EMC都推出了大數據一體機產品。不過,各家廠商所采用的數據處理技術是否具有開放性,將是企業未來面臨擴充時能否無痛轉移的關鍵。以EMC的產品來說,雖然是采用MapReducer的理論來做分散運算,但儲存技術是來自EMC的MapR File System,而非Hadoop的HDFS,因此,雖然可以橫向擴充,但儲存技術就必須依循EMC的發展。
 
  各大數據廠商為了因應大數據需求,不可能沿用10年前就開始發展的數據處理架構,因此過去2年并購動作頻頻,IBM收購數據分析公司Netezza、惠普買下了即時分析平臺Vertica、數據倉儲廠商Teradata并購Aster Data、儲存大廠EMC更接連收購數據倉儲廠商Greenplum以及磁碟陣列廠商Isilon,這些數據大廠通過并購所取得的技術,目前都已經與既有產品線完成整合,同時并相繼推出了一體機產品,例如:Teradata的Aster Data Appliance,預計未來還可看到更多有關一體機的產品。
 
  3.采用云端巨量分析服務
 
  然而,從企業的角度來看,大數據處理平臺并非一定得要通過軟硬件廠商取得,在美國,有不少企業的大數據處理,是部署在云端架構系統環境上,目前這個領域主要的服務供應商有Amazon,Amazon的云端服務AWS,總共有20多種服務,其中的EMR(Elastic MapReduce)服務,可以讓企業省去部署Hadoop叢集的工程,企業只需要把MapReduce程式,載入到EC2(Elastic Compute Cloud)虛擬機器執行EMR來運算即可。
 
  除此之外,由于Amazon在臺灣并沒有機房,而大數據所處理往往是TB級以上的數據量,以這樣的數據量與目前的網路頻寬傳輸速度,絕對無法因應企業營運的大數據處理需求。業內人士指出,如果大數據處理的需求,只是一次性或者是短期的數據處理需求,可以通過Amazon這樣的云端服務模式處理數據,但若是長期需求,則不建議。
 
  總之,究竟大數據要用哪一種平臺來處理,除了對各種技術平臺的掌握能力之外,還要看企業對大數據分析速度的期待,需要多快就要產生分析結果,幾秒鐘內就要做決策判斷,又或大數據的應用是要做長時間的大量數據分析。

熱詞搜索:

上一篇:企業實現ERP軟件的過程自動化是戰略目標需要
下一篇:甲骨文鮑勃•埃文:2013年CIO的十大優先戰略

分享到: 收藏