本文中，我們著重對運(yùn)維領(lǐng)域的數(shù)據(jù)建設(shè)和管理進(jìn)行展開，來描述運(yùn)維數(shù)據(jù)的管理方式。

 

　　作者：顧黃亮來源：高效運(yùn)維|2020-07-2911:00收藏分享

 

　　作者簡介

 

　　顧黃亮，十年研發(fā)運(yùn)維經(jīng)驗(yàn)，涵蓋基礎(chǔ)架構(gòu)、應(yīng)用架構(gòu)、數(shù)據(jù)庫、DevOps，有互聯(lián)網(wǎng)，電商，金融從業(yè)經(jīng)歷。專注于DevOps在企業(yè)中的應(yīng)用和落地，致力于企業(yè)智慧運(yùn)維體系的打造。

 

　　參加多個(gè)行業(yè)、國家標(biāo)準(zhǔn)的編寫，《開源許可證使用指南（2018）》作者之一，國標(biāo)《研發(fā)運(yùn)營一體化（DevOps）能力成熟度模型》作者之一，《企業(yè)IT運(yùn)維發(fā)展白皮書》作者之一，曾供職于航天晨光、上汽集團(tuán)云計(jì)算中心，現(xiàn)任蘇寧消費(fèi)金融安全運(yùn)維部負(fù)責(zé)人。

 

　　前言

 

　　在數(shù)據(jù)的輸出和變現(xiàn)的過程中，場景化作為最終落地的載體，而運(yùn)維數(shù)據(jù)的輸出和變現(xiàn)能力最終還是依靠前期的數(shù)據(jù)建設(shè)和質(zhì)量管理，本文中，我們著重對運(yùn)維領(lǐng)域的數(shù)據(jù)建設(shè)和管理進(jìn)行展開，來描述運(yùn)維數(shù)據(jù)的管理方式。

 

 

　　運(yùn)維數(shù)據(jù)的規(guī)模和企業(yè)規(guī)模、業(yè)務(wù)形態(tài)和運(yùn)維能力有很大的關(guān)系，根據(jù)信通院的《企業(yè)IT運(yùn)維發(fā)展白皮書》中所述，企業(yè)規(guī)模越大、業(yè)務(wù)形態(tài)越復(fù)雜、運(yùn)維能力越高的企業(yè)，運(yùn)維所納管的數(shù)據(jù)越多，運(yùn)維數(shù)據(jù)變現(xiàn)的效果越好，相對應(yīng)的，運(yùn)維數(shù)據(jù)建設(shè)的層次越高，通常使用較為前沿的大數(shù)據(jù)和AI技術(shù)作載體來進(jìn)行數(shù)據(jù)的價(jià)值交付。典型場景為，知識(shí)圖譜、智能監(jiān)控、動(dòng)態(tài)閾值、根因分析和故障自愈。

 

　　在企業(yè)規(guī)模較小、業(yè)務(wù)形態(tài)較為單一、運(yùn)維能力較為一般的企業(yè)，運(yùn)維數(shù)據(jù)變現(xiàn)較弱，更多的數(shù)據(jù)輸出強(qiáng)依賴場景，因此在這個(gè)階段，場景成為運(yùn)維數(shù)據(jù)的唯一突破口，主要進(jìn)行數(shù)據(jù)的被動(dòng)采集、被動(dòng)存儲(chǔ)和被動(dòng)消費(fèi)，特征為數(shù)據(jù)割裂和數(shù)據(jù)關(guān)聯(lián)性較弱，典型的場景化驅(qū)動(dòng)主要為，資源管理、基礎(chǔ)架構(gòu)監(jiān)控、業(yè)務(wù)連續(xù)性保障和應(yīng)急知識(shí)庫。

 

　　在運(yùn)維數(shù)據(jù)的變現(xiàn)過程中，一般需要關(guān)注三個(gè)階段，數(shù)據(jù)由少到多、單維到多維、覆蓋面由內(nèi)到外的階段；數(shù)據(jù)處理由簡單到復(fù)雜、技術(shù)單一到多樣化的階段；場景由基于需求到基于規(guī)劃、輸出能力由淺到深、自動(dòng)化到智能化的階段，總的概括如下。

 

 

　　在初級階段，運(yùn)維數(shù)據(jù)來源局限于運(yùn)維側(cè)自身，如資源數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)、文本數(shù)據(jù)、日志數(shù)據(jù)，隨著數(shù)據(jù)源接入進(jìn)入全覆蓋的時(shí)候，運(yùn)維數(shù)據(jù)已經(jīng)覆蓋業(yè)務(wù)運(yùn)營數(shù)據(jù)、后臺(tái)支撐數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)。需要說明的是，運(yùn)維數(shù)據(jù)的獲取離不開運(yùn)維數(shù)據(jù)輸出的強(qiáng)依賴條件，那就是場景輸出的需要，一切數(shù)據(jù)的根本都要基于運(yùn)維能力輸出。

 

 

　　在這里，很多人可能疑惑，這不是大數(shù)據(jù)做的事嗎？說到底，大數(shù)據(jù)只是一個(gè)工具，而非一個(gè)職能，因此運(yùn)維數(shù)據(jù)處理的能力與否，決定了數(shù)據(jù)匯聚層的價(jià)值模型，也間接的影響數(shù)據(jù)輸出的覆蓋場景，這也就是我們所理解的運(yùn)維數(shù)據(jù)中臺(tái)。在這期間，重點(diǎn)要做的是數(shù)據(jù)的處理能力和數(shù)據(jù)的衍生能力。

 

 

　　在我們所理解的變現(xiàn)過程中，其實(shí)是最終的價(jià)值輸出模型，最終也會(huì)得到三個(gè)結(jié)果，優(yōu)化、反饋和貢獻(xiàn)價(jià)值。因此，有價(jià)值的場景化選型也必須遵照，從運(yùn)維內(nèi)部的優(yōu)化開始，到信息科技領(lǐng)域的度量反饋（《建立數(shù)據(jù)指標(biāo)體系，推動(dòng)DevOps全鏈路度量閉環(huán)》一文詳細(xì)闡述），最后到數(shù)據(jù)衍生體系的貢獻(xiàn)價(jià)值，例如智慧運(yùn)維、項(xiàng)目后評價(jià)體系、信息科技的成本復(fù)盤、成本中心的利潤測算。

 

　　下面通過一張圖可以通俗的理解。

 

 

　　做過數(shù)據(jù)項(xiàng)目的都知道，數(shù)據(jù)項(xiàng)目的建設(shè)是一個(gè)循序漸進(jìn)、持續(xù)優(yōu)化的過程，不可一蹴而就，運(yùn)維數(shù)據(jù)的管理也是如此，和業(yè)務(wù)數(shù)據(jù)不同，運(yùn)維數(shù)據(jù)較為難找，且離散。一般來說，運(yùn)維數(shù)據(jù)的管理一般經(jīng)歷四個(gè)過程，簡單歸結(jié)為：找數(shù)據(jù)、建模型、接數(shù)據(jù)、抓變現(xiàn)。

 

 

　　在運(yùn)維的數(shù)據(jù)體系構(gòu)建過程中，找數(shù)據(jù)是個(gè)很頭痛的問題，這點(diǎn)和業(yè)務(wù)的數(shù)據(jù)體系有很大的區(qū)別，業(yè)務(wù)數(shù)據(jù)的管理大都由前置目標(biāo)驅(qū)動(dòng)，而運(yùn)維數(shù)據(jù)的管理大都由后置目標(biāo)驅(qū)動(dòng)，這就造成找數(shù)據(jù)階段需要自上而下進(jìn)行數(shù)據(jù)的梳理和調(diào)研。這個(gè)特性和運(yùn)維的職能相關(guān)，在運(yùn)維領(lǐng)域，安全、穩(wěn)定、高效和低成本是運(yùn)維的能力輸出框架，前兩個(gè)和數(shù)據(jù)低耦合，而后兩個(gè)和數(shù)據(jù)高耦合。

 

　　參考數(shù)據(jù)資源普查的方法，因運(yùn)維輸出場景的后置性只能采取自上而下的方式，而自上而下的方式一般會(huì)用到IPR（信息資源規(guī)劃）。關(guān)于IPR的描述是這樣的，信息資源規(guī)劃（InformationResourcePlanning，簡稱IRP），是指對所在單位信息的采集、處理、傳輸和使用的全面規(guī)劃。其核心是運(yùn)用先進(jìn)的信息工程和數(shù)據(jù)管理理論及方法，通過總體數(shù)據(jù)規(guī)劃，奠定資源管理的基礎(chǔ)，促進(jìn)實(shí)現(xiàn)集成化的應(yīng)用開發(fā)，構(gòu)建信息資源網(wǎng)。

 

　　這里通過運(yùn)維語言進(jìn)行拆解，簡單的說，根據(jù)運(yùn)維數(shù)據(jù)的價(jià)值輸出模型可以這樣描述。我們也可以從“初態(tài)、終態(tài)和去處”三個(gè)維度來解讀，在運(yùn)維數(shù)據(jù)的梳理范圍過程中，通常會(huì)擴(kuò)大到各種系統(tǒng)配置信息、監(jiān)控系統(tǒng)采集的系統(tǒng)數(shù)據(jù)、指標(biāo)數(shù)據(jù)、固定閾值或動(dòng)態(tài)閾值產(chǎn)生的復(fù)雜告警信息、以及各種系統(tǒng)定義的五花八門的海量日志數(shù)據(jù)等等。而隨著運(yùn)維能力輸出的泛化，開發(fā)和運(yùn)維的邊界上的模糊和融合，以及大數(shù)據(jù)技術(shù)的發(fā)展，運(yùn)維數(shù)據(jù)和生產(chǎn)數(shù)據(jù)的邊界也不再那么清晰，如公司業(yè)務(wù)的用戶點(diǎn)擊數(shù)據(jù)既屬于運(yùn)維數(shù)據(jù)的范疇也是業(yè)務(wù)數(shù)據(jù)的重要組成。

 

　　隨著業(yè)務(wù)的發(fā)展，運(yùn)維數(shù)據(jù)在階段性過程中產(chǎn)生了爆發(fā)式的增長，可惜的是，運(yùn)維數(shù)據(jù)的消費(fèi)方式還是通過豎井式的方案，以不同的系統(tǒng)分別處理，主要還是展現(xiàn)給DevOps或其他使用人員來進(jìn)行決策。

 

　　例如，監(jiān)控系統(tǒng)以獲取監(jiān)控?cái)?shù)據(jù)為始，以輸出規(guī)則定義的告警信息給使用人員為終；日志系統(tǒng)已獲取和索引日志內(nèi)容信息為始，以提供復(fù)雜的搜索和內(nèi)容展現(xiàn)給使用人員為終。運(yùn)維數(shù)據(jù)的價(jià)值挖掘受制于孤立的運(yùn)維系統(tǒng)的處理能力和運(yùn)維人員自身的“帶寬”。因此，我們通過IPR找數(shù)據(jù)的過程中，會(huì)形成一個(gè)誤區(qū)，總是站在運(yùn)維的角度來找數(shù)據(jù)，最終找到的都是掐頭去尾的數(shù)據(jù)，下面我們通過簡單的一張圖來描述，如何找數(shù)據(jù)。

 

　　在這個(gè)階段通常是運(yùn)維工具化一切的階段，而自上而下的梳理方式更能夠?qū)ΜF(xiàn)有數(shù)據(jù)資源有全面、系統(tǒng)的認(rèn)識(shí)。特別是通過對數(shù)據(jù)職能域之間交叉信息的梳理，使我們更加清晰地了解到數(shù)據(jù)信息的來龍去脈，有助于我們把握各類信息的源頭，有效地消除“信息孤島”和數(shù)據(jù)冗余、控制數(shù)據(jù)的唯一性和準(zhǔn)確性，確保獲取信息的有效性。在找數(shù)據(jù)的同時(shí)，也可以助推工具化的進(jìn)一步查漏補(bǔ)缺和優(yōu)化，下圖為常見的一些數(shù)據(jù)源。

 

 

　　數(shù)據(jù)模型的階段對于運(yùn)維領(lǐng)域來說，體現(xiàn)在數(shù)據(jù)識(shí)別方面。在傳統(tǒng)的數(shù)據(jù)模型理論中，運(yùn)維數(shù)據(jù)并沒有明確的操作數(shù)據(jù)層、明細(xì)數(shù)據(jù)層、匯總數(shù)據(jù)層和應(yīng)用數(shù)據(jù)層的劃分，這是運(yùn)維邊界所造成。在模型建設(shè)過程中，更多的是基于數(shù)據(jù)的特征來考量，主要有如下幾點(diǎn)：

 

　　運(yùn)維數(shù)據(jù)的業(yè)務(wù)價(jià)值，如偏業(yè)務(wù)連續(xù)性的運(yùn)維數(shù)據(jù)。

 

　　運(yùn)維數(shù)據(jù)的共享，此部分的數(shù)據(jù)主要用來和業(yè)務(wù)系統(tǒng)之間進(jìn)行共享的數(shù)據(jù)，如組織數(shù)據(jù)、技術(shù)組件數(shù)據(jù)、框架配置數(shù)據(jù)。

 

　　運(yùn)維數(shù)據(jù)的實(shí)體獨(dú)立性，主要體現(xiàn)在資產(chǎn)管理和容量管理。

 

　　運(yùn)維數(shù)據(jù)的唯一識(shí)別，這是運(yùn)維數(shù)據(jù)形成網(wǎng)狀拓?fù)涞暮诵哪芰Γ话阋訡MDB為基準(zhǔn)，采取多節(jié)點(diǎn)銜接延伸的方式，如基于業(yè)務(wù)系統(tǒng)的IP進(jìn)行南北向的資產(chǎn)數(shù)據(jù)拓?fù)鋽U(kuò)展，基于員工的工號進(jìn)行東西向工程效率和人效的度量。

 

　　運(yùn)維數(shù)據(jù)的長期有效性，運(yùn)維數(shù)據(jù)模型的基本要素，主要用于數(shù)據(jù)基線、鏈路基線、容量成本基線。

 

　　在模型階段，由于運(yùn)維數(shù)據(jù)獨(dú)特性，污染比較嚴(yán)重，質(zhì)量也良莠不齊，所以治理和驗(yàn)證的過程是一個(gè)難題。主要體現(xiàn)在運(yùn)維數(shù)據(jù)的強(qiáng)即時(shí)性方面，某些基礎(chǔ)架構(gòu)故障會(huì)引發(fā)一連串的系統(tǒng)級和業(yè)務(wù)級的故障，在業(yè)務(wù)較為復(fù)雜的情況下，這部分?jǐn)?shù)據(jù)的污染性更為動(dòng)態(tài)和復(fù)雜，因此需要模型具備一定的降噪和治理能力。

 

 

　　運(yùn)維數(shù)據(jù)的接入主要為工具數(shù)據(jù)的接入，較為常見的數(shù)據(jù)來源為資產(chǎn)管理數(shù)據(jù)和運(yùn)維自動(dòng)化工具所留存的數(shù)據(jù)，而工具留存的數(shù)據(jù)存在較多的不確定性，如數(shù)據(jù)保存方式不同、數(shù)據(jù)標(biāo)簽不同、數(shù)據(jù)定義不同、數(shù)據(jù)管理方式不同，因此需要在接入層對數(shù)據(jù)進(jìn)行加工和清洗。

 

　　數(shù)據(jù)接入是將數(shù)據(jù)從數(shù)據(jù)源系統(tǒng)匯集到數(shù)據(jù)平臺(tái)的過程。該過程需要對接入的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、映射、去重、合并、加載，通過一系列的數(shù)據(jù)加工和處理形成標(biāo)準(zhǔn)統(tǒng)一的主數(shù)據(jù)。常用的數(shù)據(jù)匯集方式包括：（1）ETL抽取，采用ETL工具的方式從數(shù)據(jù)源系統(tǒng)將數(shù)據(jù)采集到運(yùn)維數(shù)據(jù)數(shù)據(jù)中臺(tái)。（2）文件傳輸，采用文件傳輸方式將文件中的數(shù)據(jù)導(dǎo)入到運(yùn)維數(shù)據(jù)數(shù)據(jù)中臺(tái)。（3）消息推送，采用消息的方式從數(shù)據(jù)源系統(tǒng)將數(shù)據(jù)采集到運(yùn)維數(shù)據(jù)數(shù)據(jù)中臺(tái)。（4）接口推送，采用接口方式從數(shù)據(jù)源系統(tǒng)將主數(shù)據(jù)采集到運(yùn)維數(shù)據(jù)數(shù)據(jù)中臺(tái)。（5）內(nèi)容爬蟲，一般用于WEB頁面的數(shù)據(jù)爬取，適用于無數(shù)據(jù)留存場景的匯集。

 

　　運(yùn)維數(shù)據(jù)的接出，是將標(biāo)準(zhǔn)化的數(shù)據(jù)分發(fā)共享給下游系統(tǒng)使用的過程。在數(shù)據(jù)接出過程中使用的技術(shù)與數(shù)據(jù)匯集技術(shù)基本一致。在運(yùn)維側(cè)實(shí)施數(shù)據(jù)接出過程中，需要根據(jù)不同場景選擇不同的集成方式。

 

　　在此有幾個(gè)大家都比較關(guān)心的問題需要探討，運(yùn)維數(shù)據(jù)中臺(tái)是否需要將CMDB、監(jiān)控平臺(tái)、流水線、持續(xù)交付、度量體系的數(shù)據(jù)集中到一起，這是運(yùn)維中臺(tái)在建設(shè)過程中遇到的第一個(gè)問題。數(shù)據(jù)的接入過程其實(shí)是多源的運(yùn)維數(shù)據(jù)導(dǎo)入過程，其中未必所有的數(shù)據(jù)都是有用的，監(jiān)控?cái)?shù)據(jù)和日志平臺(tái)是典型的代表。

 

　　在此期間，接入的運(yùn)維數(shù)據(jù)往往存在大量的重復(fù)和冗余，以監(jiān)控?cái)?shù)據(jù)為例，同一個(gè)事件可能導(dǎo)致大量重復(fù)的指標(biāo)、告警、日志等，筆者在實(shí)施過程中將更接近數(shù)據(jù)源的位置及早過濾冗余，這不僅會(huì)節(jié)省時(shí)間，而且也能夠節(jié)省用在冗余的垃圾數(shù)據(jù)上的存儲(chǔ)和計(jì)算成本。

 

　　因此，比較理想的方案是在臨近數(shù)據(jù)源的地方進(jìn)行實(shí)時(shí)數(shù)據(jù)處理，盡早進(jìn)行降噪和聚合，完成自動(dòng)模式發(fā)現(xiàn)、異常檢測等算法，只把具備歷史分析價(jià)值的數(shù)據(jù)流傳到數(shù)據(jù)中臺(tái)進(jìn)行歷史分析。總體來說，如果我們使用主數(shù)據(jù)和元數(shù)據(jù)的概念來便于理解，運(yùn)維能力子域的工具和系統(tǒng)所留存的數(shù)據(jù)為主數(shù)據(jù)范疇，而數(shù)據(jù)中臺(tái)的數(shù)據(jù)為元數(shù)據(jù)范疇，二者的關(guān)系更多的通過單維到多維來識(shí)別。

 

　　回到數(shù)據(jù)集中的問題，筆者在實(shí)施過程中，CMDB、監(jiān)控平臺(tái)、流水線、持續(xù)交付、度量體系的數(shù)據(jù)依舊維持原狀，接入的數(shù)據(jù)保持按需接入的同時(shí)，更多的體現(xiàn)在多個(gè)數(shù)據(jù)源的多維度的海量異構(gòu)數(shù)據(jù)。

 

　　4、數(shù)據(jù)的變現(xiàn)

 

　　數(shù)據(jù)的變現(xiàn)是實(shí)現(xiàn)數(shù)據(jù)價(jià)值的唯一標(biāo)準(zhǔn)，和數(shù)據(jù)的商業(yè)化不同，運(yùn)維數(shù)據(jù)的變現(xiàn)主要取決于數(shù)據(jù)的熱點(diǎn)運(yùn)用，使用的熱度越高，越是黃金數(shù)據(jù)，也可以稱為核心數(shù)據(jù)資產(chǎn)。在運(yùn)維領(lǐng)域，數(shù)據(jù)的變現(xiàn)主要有以下方面。

 

　　（1）整體協(xié)同、降本增效

 

　　提升組織級的能效和質(zhì)量是DevOps的價(jià)值輸出唯一標(biāo)準(zhǔn)，因此通過數(shù)據(jù)驅(qū)動(dòng)的方式來達(dá)到端到端的流水線交付、端到端的資源交付、端到端的安全輸出、端到端的價(jià)值交付。在這個(gè)期間，需要運(yùn)維數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一，來打通項(xiàng)目、需求、研發(fā)、測試、運(yùn)維和資源的各個(gè)環(huán)節(jié)，大幅提升科技各子域的協(xié)作效率，減少因數(shù)據(jù)不一致導(dǎo)致數(shù)據(jù)傳遞交換的溝通成本。

 

　　（2）數(shù)據(jù)驅(qū)動(dòng)、智能決策

 

　　在數(shù)據(jù)驅(qū)動(dòng)階段，通過數(shù)據(jù)的反饋來優(yōu)化價(jià)值交付鏈路過程中的問題和缺陷，通過對過程性數(shù)據(jù)的持續(xù)收集和分析發(fā)現(xiàn)交付過程中存在的瓶頸，通過對軟件產(chǎn)品和用戶的線上數(shù)據(jù)獲取反饋并且及時(shí)作出調(diào)整，通過結(jié)果性數(shù)據(jù)去評價(jià)團(tuán)隊(duì)的成效。從而體現(xiàn)數(shù)據(jù)價(jià)值輸出能力和決策成效。

 

　　（3）數(shù)據(jù)即服務(wù)、資產(chǎn)

 

　　可以通過數(shù)據(jù)的不斷優(yōu)化來提升數(shù)據(jù)共享和交換能力，另一方面，通過對數(shù)據(jù)進(jìn)行標(biāo)簽化和整合，結(jié)合各種不同的場景輸出提供給數(shù)據(jù)使用部門，從而實(shí)現(xiàn)整個(gè)企業(yè)級的全局?jǐn)?shù)據(jù)打通。

 

　　三、總結(jié)

 

　　隨著運(yùn)維的技術(shù)發(fā)展不斷加快，職能邊界也逐漸模糊，隨之而來的不光是數(shù)據(jù)的量級呈現(xiàn)幾何級的增長，業(yè)務(wù)連續(xù)性的容忍性也趨于變窄。因此運(yùn)維數(shù)據(jù)所凸顯的價(jià)值輸出能力得到進(jìn)一步的提高，對于數(shù)據(jù)的使用和管理給運(yùn)維帶來了新的困難和挑戰(zhàn)，相應(yīng)的也促使智能運(yùn)維的出現(xiàn)和發(fā)展，提前預(yù)告下一篇，運(yùn)維數(shù)據(jù)的質(zhì)量管理。