麥肯錫在研究報(bào)告中指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素;而人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。麥肯錫的報(bào)告發(fā)布后，包括IBM、EMC、甲骨文、微軟、天融信在內(nèi)的各大廠商紛紛跑馬圈地，強(qiáng)勢(shì)進(jìn)入，投入了巨大的資源搶占這個(gè)領(lǐng)域的話語權(quán)。

　　非結(jié)構(gòu)化數(shù)據(jù)增長帶來新安全問題

　　隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身是資產(chǎn)，這一點(diǎn)在業(yè)界已經(jīng)形成共識(shí)。事實(shí)上，“大數(shù)據(jù)”并不是一項(xiàng)技術(shù)，而是由于不斷增長的數(shù)據(jù)量和數(shù)據(jù)種類而逐漸衍生出來的一種現(xiàn)象。因此，“大數(shù)據(jù)”在業(yè)內(nèi)并沒有統(tǒng)一的定義。不同廠商，不同用戶，站的角度不同，對(duì)大數(shù)據(jù)的理解也不一樣。因此，大數(shù)據(jù)市場(chǎng)的快速發(fā)展，主要得益于非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長。

　　隨著計(jì)算機(jī)信息化技術(shù)飛速發(fā)展，企業(yè)中的主機(jī)、服務(wù)器、防火墻、交換機(jī)、防毒墻、無線路由等等網(wǎng)絡(luò)設(shè)備、安全設(shè)備以及應(yīng)用系統(tǒng)越來越多，這些設(shè)備所產(chǎn)生的海量日志信息成為了大數(shù)據(jù)時(shí)代飛速增長的數(shù)據(jù)的重要組成部分，由此帶來的日志管理與安全審計(jì)的工作也變得越來越復(fù)雜。面對(duì)海量數(shù)據(jù)，單靠人工進(jìn)行管理幾乎成了一件不可能完成的工作。越來越多的企業(yè)也意識(shí)到了這種挑戰(zhàn)：一方面，IT 負(fù)責(zé)人和職員無法有效地對(duì)海量數(shù)據(jù)進(jìn)行有效地收集、處理和分析;另一方面，企業(yè)CEO 以及高層管理人員因不能及時(shí)獲得所需的信息，而無法預(yù)測(cè)出潛在的業(yè)務(wù)風(fēng)險(xiǎn)，坐等商業(yè)機(jī)會(huì)的流失。

　　綜合管理應(yīng)對(duì)海量數(shù)據(jù)安全挑戰(zhàn)

　　天融信在面對(duì)大數(shù)據(jù)時(shí)代帶來的新挑戰(zhàn)時(shí)，提出大數(shù)據(jù)綜合管理平臺(tái)戰(zhàn)略，相應(yīng)地推出了海量日志數(shù)據(jù)自動(dòng)收集與實(shí)時(shí)智能分析產(chǎn)品(TopAudit-Log，簡稱TA-L)，為企業(yè)轉(zhuǎn)型、成長提供必要的戰(zhàn)略技術(shù)支撐，幫助企業(yè)將新挑戰(zhàn)變?yōu)樾聶C(jī)遇。通過海量數(shù)據(jù)的自動(dòng)收集、處理以及實(shí)時(shí)的智能分析實(shí)現(xiàn)企業(yè)高效、便捷、經(jīng)濟(jì)的大數(shù)據(jù)管理。

　　該產(chǎn)品主要由數(shù)據(jù)采集、實(shí)時(shí)數(shù)據(jù)分析與存儲(chǔ)、綜合管理平臺(tái)三部分構(gòu)成，其結(jié)構(gòu)如下圖所示：

　　產(chǎn)品架構(gòu)

　　海量日志數(shù)據(jù)自動(dòng)收集與實(shí)時(shí)智能分析能夠與任何企業(yè)以及職能部門進(jìn)行整合，從以下四個(gè)方面幫助其全面應(yīng)對(duì)海量數(shù)據(jù)帶給企業(yè)的新挑戰(zhàn)：

　　1.通過技術(shù)手段進(jìn)行海量數(shù)據(jù)自動(dòng)收集，并進(jìn)行非結(jié)構(gòu)數(shù)據(jù)歸一化處理，同時(shí)將原始數(shù)據(jù)進(jìn)行高效壓縮存儲(chǔ)，最大限度提高存儲(chǔ)利用率和數(shù)據(jù)收集速度，解決人工無法完成海量數(shù)據(jù)收集的難題。

　　2.收集數(shù)據(jù)的同時(shí)通過數(shù)據(jù)實(shí)時(shí)分析引擎對(duì)海量數(shù)據(jù)進(jìn)行深度分析，數(shù)據(jù)實(shí)時(shí)分析引擎融合了數(shù)據(jù)庫、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)等多個(gè)領(lǐng)域的理論和技術(shù)，從收集到的大數(shù)據(jù)中第一時(shí)間挖掘出黑客攻擊、非法操作、潛在威脅等各類管理者關(guān)注的安全事件。同時(shí)，采用獨(dú)特的事件關(guān)聯(lián)分析技術(shù)實(shí)現(xiàn)用戶、事件、后臺(tái)數(shù)據(jù)庫三層關(guān)聯(lián)分析，關(guān)聯(lián)分析準(zhǔn)確度高達(dá)90%以上，從根本上解決了人工無法進(jìn)行海量數(shù)據(jù)處理與分析的難題。

　　3.數(shù)據(jù)實(shí)時(shí)分析引擎進(jìn)行深度分析出的各類安全事件將第一時(shí)間通知實(shí)時(shí)告警平臺(tái)，告警平臺(tái)根據(jù)管理者的要求第一時(shí)間將管理者關(guān)注的安全事件信息告知，便于管理者及時(shí)采取有效的管理措施，幫助管理者有效的進(jìn)行企業(yè)風(fēng)險(xiǎn)管理。

　　4.最后通過統(tǒng)一管理平臺(tái)，管理者可以進(jìn)行海量數(shù)據(jù)查詢以及統(tǒng)計(jì)分析，可以第一時(shí)間幫助管理者整理出企業(yè)CEO以及高層管理人員關(guān)注的信息，簡單、直觀、高效。為企業(yè)高層管理者預(yù)測(cè)未來并制定相關(guān)管理辦法以及企業(yè)發(fā)展規(guī)劃提供依據(jù)，并幫助企業(yè)更好的進(jìn)行風(fēng)險(xiǎn)管理以及滿足各項(xiàng)合規(guī)性檢查。

　　TA-L的典型應(yīng)用

　　TA-L高效的大數(shù)據(jù)自動(dòng)收集效率以及智能動(dòng)態(tài)分析性能是行業(yè)獨(dú)一無二的，不僅涵蓋了從軟件到硬件的各類安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)，同時(shí)也創(chuàng)造性的將各種看似毫無關(guān)聯(lián)的海量數(shù)據(jù)進(jìn)行深度挖掘并進(jìn)行關(guān)聯(lián)性分析，將普通的大數(shù)據(jù)處理提高到了智能分析，化挑戰(zhàn)為機(jī)遇的戰(zhàn)略高度，充分涵蓋了海量信息價(jià)值發(fā)掘歷程中的各個(gè)層面。該產(chǎn)品尤其適合網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、系統(tǒng)規(guī)模龐大、容易形成大數(shù)據(jù)的金融、政府、銀行、證券、運(yùn)營商、醫(yī)療等各大型機(jī)構(gòu)。采用多級(jí)分域部署的集中管理方式，構(gòu)建覆蓋全國總部、各省級(jí)單位和地市級(jí)單位的綜合管理體系。其典型的部署架構(gòu)如下圖所示：

　　產(chǎn)品典型部署

　　天融信日志數(shù)據(jù)自動(dòng)收集與實(shí)時(shí)智能分析系統(tǒng)憑借優(yōu)異的大數(shù)據(jù)自動(dòng)收集性能結(jié)合高效的海量數(shù)據(jù)智能實(shí)時(shí)分析與動(dòng)態(tài)實(shí)時(shí)告警，已經(jīng)到政府、軍工、教育、能源等多個(gè)行業(yè)得到了廣泛應(yīng)用，深受IT管理者好評(píng)。相信在不久的未來，海量數(shù)據(jù)智能實(shí)時(shí)分析將輻射各行各業(yè)，為各企業(yè)在大數(shù)據(jù)時(shí)代的穩(wěn)健發(fā)展提供前所未有的有價(jià)值的信息，幫助各企業(yè)變挑戰(zhàn)為基于，同時(shí)，各種基于大數(shù)據(jù)智能實(shí)時(shí)分析的產(chǎn)品也將得到更廣泛的應(yīng)用，屆時(shí)將會(huì)有更多的廠商進(jìn)入這一領(lǐng)域，百家爭鳴的局面指日可待。