任何新技術的發展都會經歷一個從被公眾了解到最終普遍應用的過程。大數據技術作為一個新興的數據處理技術，經過了近十年的發展，剛剛開始在各個行業得到應用。但從媒體和公眾視野中，大數據技術總是帶有神秘的色彩，似乎有著挖掘財富和預測未來的神奇力量。廣泛流傳的大數據應用案例包括Target超市根據女孩的購物歷史判斷是否懷孕，信用卡公司根據用戶在不同時空的購物行為預測客戶的下一個購買行為，等等。大數據技術也為我們描繪了一個個如“智慧城市”，“智慧交通”和“智慧醫療”等等的美好夢想。這些描述讓大家對大數據技術充滿了憧憬和美好預期。

我從2014年的大數據應用中總結了兩個重要的現象或者說應用趨勢。第一個現象是大數據技術優先應用在采用SQL進行結構化數據處理上，來解決數據量增大帶來的處理能力的挑戰;這與很多人宣傳的大數據技術最適合處理非結構化數據(而不適合結構化數據處理)相反。我們發現企業面臨兩方面的挑戰，一方面是累積的數據量越來越大，從GB增長到了TB(擁有PB級的企業客戶也有，但是少數)，另一方面，隨著應用的增多和復雜化，計算能力越來越不能滿足要求。大多數企業多年來根據業務需求在傳統的關系數據庫如DB2或者Oracle上開發自己的應用，數據量和應用的數量都在快速增加，傳統數據庫運行這些應用花的時間越來越長，即使只有1TB的數據，由于業務邏輯的復雜性，在傳統關系數據庫上運行統計業務，也從以前的日報(每日統計)降低到只能做現在的周報了。這樣的時效性已經大大限制了企業的生產力。在IT系統日益成為企業業務本身的大趨勢下，IT系統效率的低下嚴重影響了企業的競爭力。這些待處理的數據都是企業的結構化業務數據，現有的應用也都是基于SQL的。這是分布式的SQL on Hadoop技術發展的客觀原因，也是星環科技致力于提升SQL運行性能和SQL支持完整程度的一個現實需求。

第二個現象或者需求是對實時時序數據的處理需求日益強烈，特別是隨著傳感器和監控設備等電子儀器的普及，企業有越來越多的實時數據。傳統處理方法是將電子儀器產生的數據存入數據庫后再統一分析。隨著設備的增多和數據的增長，傳統方案的延時越來越高。利用流處理技術在數據產生的時候就進行實時處理可以極大地提高企業的反應速度和工作效率。2014年星環科技部署了較多的流處理集群，來處理從用戶產生的實時數據到傳感器產生的數據。

這兩個應用趨勢我認為在2015年會變得更加強烈。下文簡單總結了過去一年中在運營商、金融、物流、工商、交通、能源、廣電和電商等多個領域中的大數據應用。

電信運營商

移動互聯網時代的運營商面臨著許多新挑戰。微信等手機通訊APP的出現侵蝕了運營商的語音和短信收入，流量業務顯得更加重要。另一方面，無線網絡服務是運營商的核心競爭力。近年來，運營商正在投入大量資金建設網絡來大力發展4G。4G網絡的覆蓋率不高或者質量不高導致的4G回落到3G或者2G會大大降低客戶滿意度。

經過最近一兩年的探索，運營商在大數據平臺建設方面總結了兩個方向，一是利用大數據技術來提升運營效率，同時探索新的商業模式和數據運營方式。在過去的一年中，大數據在運營效率提升方面得到驗證，而新的商業模式仍然在探索中。我們在廣東移動的經營數據分析中應用星環的內存計算技術成功地將800多個指標的計算從原先Oracle的30小時減少到了4小時，在上海移動成功地將流量經營系統從DB2完整地遷移到了星環的TDH上，運行效率比原先的集群有5倍左右的提升。我們對SQL的完整支持使得應用系統遷移成為可能，而之前合作伙伴曾經嘗試過將應用系統遷移到某知名Hadoop發行版上但沒有成功。我們正在參與某省電信和某直轄市移動的4G網絡優化項目，在這些項目中，我們的合作伙伴在用更高性能的星環TDH代替傳統MPP數據庫進行網絡優化模型的建立和高速的模型運算，一方面發現網絡中存在的問題，例如信號回落的問題，幫助運營商快速找出有問題的區域。另一方面通過TDH提供的完整SQL結合統計和機器學習算法，找到最佳的優化模型和參數，對網絡進行細粒度的精確調整，以提高網絡的覆蓋度以及信號的質量。

金融

在2013年到2014年間，國有銀行以及部分股份制銀行或多或少地進行了大數據技術應用方面的探索，但是早期的應用局限在簡單的歷史交易查詢以及非結構化數據的存儲和檢索上，并沒有對銀行的關鍵業務產生影響。而大數據技術在銀行的應用前景被廣泛傳播，通過綜合處理銀行自有結構化交易數據以及外部互聯網/政府數據，可以提升精細化客戶管理水平以及進行大數據征信降低風險等。這些遠景在2014年沒有成為現實，2015年預計將是應用探索的一年。但我們在2014年在銀行中實踐了一些務實的應用。在這些應用中，TDH作為數據倉庫的補充，用于提升數據分析的效率。同樣受益于我們對SQL的完整支持，某股份制銀行開始把一些復雜的貸款風險控制邏輯遷移到TDH Hadoop平臺上進行運算。這些風控模型客戶此前在多個MPP數據庫和Hadoop發行版上進行過嘗試，性能或者功能都沒能滿足他們的要求。從技術角度來看，這些分析涉及的數據量只有幾個TB，但是分析業務極其復雜，涉及到近百張事實表和維度表，有些表的寬度甚至超過了幾萬字節。這個案例說明傳統關系型數據庫或者MPP數據庫對于大數據場景下的復雜計算變得越來越捉襟見肘，銀行需要一個更高效的數據處理工具。

快遞

快遞行業IT系統產生的數據量和承載的壓力過去一直沒有得到大家的關注。近年來，快遞行業的規模隨著電子商務的高速發展出現了快速的擴張。巨大的市場需求給快遞公司帶來了前所未有的挑戰，每年的“雙十一”會給快遞公司的處理能力施加遠高于平時的壓力。因此，怎樣緩解“雙十一”的爆倉、避免快件變“慢件”是每個快遞公司的難題。

如何通過大數據的分析對快遞流程進行改善和優化成為一個值得研究的問題，也是快遞業提高競爭力的一個重要手段?？爝f的每一個生產環節都會產生的大量數據，監控這些數據進而對全國各處理中心的收寄和運載能力、出班投遞計劃做實時優化調整，公司就能降低成本。分析這些數據來對業務發展的趨勢做出預測，公司就能做好準備應對暴漲的需求。然而，快遞生產環節中的數據具有數據量大、并發性高、類型復雜的特點，上層應用對實時性要求很高，傳統數據庫在這樣的情況下捉襟見肘。

我們和華勝天成合作一起為中國郵政EMS速遞部門部署了大數據平臺，對它在全國的攬投部、處理中心和集散中心的數據(包括已接收、留存件、已下段、未下段、已投遞、未投遞、攬收員、地址、已封發、已發運、未發運等等)進行處理。大數據平臺將ESB(企業生產總線)流來的數據實時動態加載進流處理集群以及實時數據庫，進行實時統計和指標監測，并且實現實時數據查詢。這次部署給了客戶簡單易用的工具來對業務的每個環節實時監控，使得他們在海量的快遞業務中都可以快速精準地發現問題，如快件的積壓、遺失、破損等，從而提高服務質量。這個大數據平臺平穩支撐了2014年“雙十一”的數據處理壓力。未來該平臺也可根據最新的生產數據幫助快遞公司調整和優化投遞計劃，為公司降低成本。

工商

工商部門在建設國家的“經濟戶籍庫”積累了大量的市場主體信息、年檢情況、執法數據和12315投訴等數據。對這些數據的統計分析可以幫助工商部門理解市場與經濟形勢。

大數據技術的其中一個簡單應用是用在數據質量管理和統計分析上。由于是人工錄入數據，不可避免存在一定出錯的概率，雖然概率不大。同時企業和個人的基本信息被分散在幾十張關系表中，信息存在一定程度的交叉關聯。通過對數據進行大規模交叉比對和統計，可以發現數據中隱藏的錯誤并及時得到更正。這個應用使用了星環的內存計算技術，全量數據的校驗和統計可在十分鐘內完成，極大提高了工作效率。

另外，大數據技術也用于市場主體信息的查詢系統中，可以應對上億用戶并發查詢并在幾百毫秒內就返回查詢或搜索結果。對企業歷史快照的查詢可以讓用戶跟蹤企業變更信息，掌握企業生命周期的變化規律。在解決了存儲和查詢問題的基礎上，我們還幫助客戶利用圖計算引擎快速發現企業之間和企業相關人員之間的關聯。通過對全庫數據進行掃描，確認這些企業基于股權、任職等方面的關聯關系，建立企業關聯關系信息庫。

電力

隨著電力企業信息化快速建設和智能電力系統的全面建成，電力數據的增長速度將遠遠超出電力企業的預期。從發電側為例，電力生產自動化控制程度的提高，對諸如壓力、流量和溫度等指標的監測精度，頻度和準確度更高，對海量數據采集處理提出了更高的要求。就用電側而言，一次采集頻度的提升就會帶來數據體量的“指數級”變化。電力數據量的增長已經遠遠超過某電力部門原先使用的關系數據庫的處理能力。

我們在2014年主要幫助電力部門處理用電側的數據。我們意外地發現電力數據的統計分析涉及非常復雜的SQL運算，從技術角度來看，大量使用了Oracle的PL/SQL擴展語法，包括存儲過程/控制流/異常處理/增刪查改/事務處理等。從應用角度來看，這些SQL邏輯主要用于用電量的歷史統計和用電趨勢的分析，以及對線路損耗的計算。我們協助客戶通過機器學習的方法進行分析，發現用電量跟宏觀經濟走勢以及氣候有一定的相關性，同時也跟每個行業以及每個企業的經營狀況密切相關。通過對企業用電量的統計以及它所處行業的用電水平的對比，可以發現企業的節能情況，通過對用電歷史數據的分析，可以發現企業生產活動的變化或者節能措施的效果。某南方供電局采用TDH的平臺統計找出節能環保的企業和用電大戶，并對節能環保的企業給予補貼，目的是對全社會節能減排觀念進行引導，推動工業由高耗能的粗放發展方式向低耗能、高效率的綠色和諧發展方式轉變。

我們還為某電力部門部署了一個試驗性的故障處理系統，我們和合作伙伴建立了統一的配電網供電拓撲模型，利用圖數據庫存儲從用戶到變電站的整個供電拓撲網絡數據，利用流處理系統進行實時告警，并實時查詢電網拓撲圖，快速研判停電事故發生的地點以及影響的范圍。在此基礎上，可以將停電事件通知搶修班組，及時恢復供電。同時可以主動告知用戶，加強與用戶互動，全面且直觀的掌握全網的停電分布情況。

交通

隨著經濟迅猛發展，機動車輛不斷增加，全國性的交通擁堵現象也越來越嚴重，如何通過信息化手段提高交通管理水平和保障道路安全已經成為一個重要的課題。

目前常用的方式是在道路卡口部署數字監控設備，這些設備7×24小時不間斷捕獲圖像和視頻數據，并進行識別，一個省或直轄市每日產生的過車數據有幾千萬條記錄。這些數據主要用來為交通管理部門提供實時的路況信息，這些信息未來可以發布給公眾作為出行的參考信息。同時協助管理部門進行交通管理，包括對重點營運車輛的監控，違法車輛的識別和布控，區間測速、套牌分析等實時性的分析應用。 我們和合作伙伴為某省公安廳交通管理部門部署了全省范圍的交通監控系統，采用分布式隊列實時采集全省各個交通卡口的車輛信息，使用流式計算集群對過車記錄進行實時統計和監測，并實現上述多種實時分析應用，系統處理信息的端到端延時在2秒以內，較好地提高了交通管理的效率。

當然，交通行業的大數據應用還處于起步階段，剛剛開始或者即將完成大數據的集中收集。利用大數據技術的強大分析和挖掘能力，未來可以顯著提高交通信息的實時透明度，提升交通和擁堵管理的水平，降低事故的發生率，并為城市規劃提供參考。

廣電

在中國，廣電系統正經歷著數字化浪潮的沖擊，基于網絡化的影視播放給傳統廣電運營商很大挑戰。在此背景下，華數傳媒敏銳意識到，要想獲得未來網絡化傳媒的生存與競爭優勢，現在就必需向用戶傾斜，打造“精準型”廣電內容及傳播運營商。華數傳媒需要的數據基礎架構需要能夠滿足海量、多來源、多樣性數據的存儲、管理要求，支持平臺硬件的線性擴展，并提供快速實時的數據分析結果，迅速作用于業務。華數傳媒選擇了我們為其部署了大數據平臺，在其之上開發了數字電視分析系統。該系統可以提供基于全量數據的實時榜單。以時間(小時/天/周)、用戶等維度，對點播節目、直播節目、節目類別、搜索關鍵詞等進行排名分析、同比環比分析、趨勢分析等。系統還可以從時間、頻道、影片類型、劇集等維度，根據在看數量、新增數量、結束觀看數量、完整看完等分析用戶走向。另外，通過對用戶行為數據的采集分析，華數傳媒可以對客戶進行精準畫像，使用智能推薦引擎，系統可以先于觀眾知道他們需求，預知將受到追捧的電視，為每一個用戶量身定做推薦節目，以提高了產品的到達率，增強用戶忠誠度。另外，系統還可通過觀眾對演員、情節、基調、類型等元數據的標簽化，來了解受眾偏好，從而進行分析觀測，為后續的影視制作等內容開發做好準備。得益于基于大數據平臺的數字電視分析系統，華數傳媒正在進行從內容傳輸到內容制造的“華麗轉身”。

電子商務

在電子商務領域，大數據可以說已經成為業務支撐的關鍵技術，在營銷推廣、客戶關懷等眾多環節發揮重要作用。我們和錦江電商合作，利用大數據平臺為該電商打造了產品推薦系統。我們基于大數據平臺建設了客戶標簽體系。依托該電商大量的會員和訪客，深度學習和挖掘客戶的行為數據，依據RFM模型和客戶信息，形成客戶消費喜好、客戶年齡、家庭狀況、甚至星座、屬相、消費頻次、金額、出行方式等等信息計入客戶標簽。再將客戶標簽聚類分析，形成客戶分群。如此，便能精準獲取客戶群體，實施精準營銷。同時，我們還協助客戶建設了產品標簽體系。依據酒店與旅游等各類型產品特征，建設和挖掘產品標簽，并經過一定的機器學習挖掘過程，將客戶標簽和產品標簽對接，根據各類標簽分析權重，建設智能化推薦系統。

該推薦系統可以智能化推薦產品，正逐步成為針對電商的會員關懷體系和精準服務體系中重要的基礎環節。

總結和展望

總結了一下2014年的Hadoop大數據行業應用，有些應用可能是大家之前沒有預想到的簡單應用，有些則是復雜的數據分析和挖掘類應用。大數據技術本身是一個全新的數據處理和分析技術，擁有超過現有技術的強大處理能力和深度挖掘數據的能力，然而技術本身帶來的價值需要通過上層應用來展現，因此如何應用這些能力來解決現實的問題是各個行業都在探索的課題。在2015年預計會有大量的基于大數據技術的創新應用涌現出來。

同時在過去的一年中，大數據技術已經證明可以大幅提升運營效率，我們預計將來的一年內，利用SQL on Hadoop技術解決企業面臨的數據量大難算的難題會成為一個普遍的應用趨勢，隨著SQL支持程度的不斷完善和性能的不斷提升，企業應用大數據技術進行結構化數據處理，以提升運營效率和解放生產力，將得到立竿見影的效果。

2014年是大數據技術開始落地的一年，我們看到了市場對大數據技術和產品的巨大需求。我們對2015年和以后的大數據發展都十分看好。大數據快速發展的趨勢會持續很長一段時間，數據中還有太多價值沒有被挖掘出來，會有越來越多的企業、政府機構和公益組織需要大數據解決方案。普及優秀的大數據產品幫助大眾解決數據處理的難題，讓我們共同努力!