本文來自談數據。

數據治理是國外銀行業自90年代興起的概念，最開始的主要目標是進行客戶數據清理、完善數據標準、確保銀行數據的完整性，隨著銀行業務不斷拓展、數據及其相關理論逐步完善，數據治理的概念和方法在金融行業已經達成了共識，即數據不但是有價值而且還是有競爭價值的資產，為了讓數據一致、準確、及時地交付給數據使用者，最重要的是，為了讓數據能被使用者充分理解，企業必須要對現有的數據進行治理。

數據治理體現了圍繞企業數據處理所進行的數據質量、數據管理、數據政策、業務流程管理與風險管理等一系列實踐的融合。企業通過數據治理可以保證數據的可信性，并且對數據認責的流程和方法可以施以積極主動的控制。數據治理需要以多種形式綜合使用各種技術手段來輔助治理流程，需要時要賦予相關人員以權力得用技術手段來建立流程。

PS：數據資產確權認責，確什么權，認什么責？

01數據不佳的根本原因

我們經常會聽到數據使用者對數據的抱怨：

“我們有很多的重復數據”---沒有解決方案

“數字永遠加不起來”---不同部門使用不同的代碼和統計口徑

“我的報告到達總是延遲，得到的總是過時的信息”---提供關鍵數據的接口經常出錯

“我們永遠不知道在哪里可以找到我們想要的信息”---缺乏對數據的理解

“我們不能同意對我們的考核指標”---部門使用不同的標準來衡量他們的績效

“我怎樣才能獲得這個信息”---沒有明確的保密和安全流程而這些數據問題的來源是多方面的，業務和IT都會產生數據問題。下面顯示的是來自一個調研機構的調查結果。

通過上面的調研結果，我們可以看到各種數據問題產生的主要原因包括：

76％數據錄入錯誤

53％源系統的變化

48％數據遷移或項目改建

46％用戶不同的期望

26％系統錯誤

今天，許多組織開始認識到，為了把數據作為一項有價值的商業資產，或者甚至作為他們的財務資產，他們需要做一些更好的工作來管理這些數據。

現實的情況是，企業往往在口頭上承認數據是企業的經營資產。他們談論實施組織，標準，規則，流程和工具來管理和提高數據的需要，但未能實現，并支持他們。因此，數據的質量就會大打折扣。

“我們用系統來管理我們業務的各個方面，卻沒有一個地方來管理系統本身”，如果企業數據管理流程失敗了，數據仍然會流經我們的IT系統，但是這些數據將不會也不能自我管理！

雖然我們采取了相關的數據管理措施，如：數據質量管理、數據整合、元數據管理、數據標準管理、數據模型和數據安全方面的管理。但是，流經我們各個系統的數據的可信度，完整性，安全性還是得不到保證的。因為數據質量問題的根本原因是：缺乏數據政策，數據標準，指導原則和規則，缺乏工具和流程。

02數據問題制約了業務的快速發展

一份研究機構所作的調研結果是：47％的決策者對數據沒有信心；59％的決策者遇到缺失的數據；42％的決策者知道，他們使用了錯誤的信息。因此，數據問題將制約業務的快速發展，導致企業缺乏競爭力。

1、數據質量缺陷將導致：

•由于財務報表上的有失準確和數據之間的互相矛盾帶來更高的違規風險

•由于客戶信息的有失準確造成市場營銷的低效

•過度打擾客戶

2、數據模型缺陷將導致：

•不同業務和數據主題之間數據的定義不一致

•資源浪費：重復的數據對象和數據元素

•耗時的工作去找到你要找的數據。

•選擇了錯誤的數據來訪問

3、元數據管理缺陷將導致：

•尋找一個數據需要花費很長的時間

•由于認識不足造成低效或錯誤的決策

•延長開發周期，提高培訓成本

•由于對數據和業務規則缺乏信心造成低使用率

4、數據整合缺陷將導致：

•由于各系統之間數據互相矛盾或不能關聯帶來痛苦的數據比對

•由于缺乏統一的整合方法給項目帶來不必要的復雜性和不一致性

•重復建設，冗余復雜的接口，性能問題

5、主數據管理缺陷將導致：

•客戶和產品的缺乏標準或缺乏對應會帶來客戶服務的問題

•延長了產品開發和導入的周期

•給深入了解客戶之間的關系和層級帶來困難

6、安全和隱私缺陷將導致：

•帶來不斷增加的合規風險，分散或不一致的數據

•在客戶、合作方、和監管機構眼中銀行的信譽下降

•身份被盜用和授權被濫用的風險

業界利用數據整合的優勢推行信息導向經營戰略是銀行在激烈的市場競爭中獲得競爭優勢的最優選擇。從全球多家銀行業的實踐經驗來看，通過信息導向的經營戰略取得成功的銀行通常具備下述特征：

以數據分析和數字化管理的理念貫徹整個機構；

決策者藉由數據運用，找到駕馭及引導變革的機會與關鍵信息；

以數據為中心的業務流程設計覆蓋各個主要領域的管理需求；

建立數字化管理的組織文化，依據量化數據進行決策，不論是新進人員或具經驗的銀行人員，均可基于一致的資料基礎上做出業務決策；

組織靈活有彈性，隨時能夠發展新的業務模式；能夠創造20-30%的經濟效益。

03數據治理概念

數據治理這個名詞翻譯自英文Data Governance，有時也會被翻譯成“數據管控”。業界權威組織Gartner對數據治理定義是：數據治理是通過組織、制度、流程、技術的結合與實踐活動，用以管理、維護和開發作為企業信息資產的數據。治理不同于管理，管理是你做出的決定，治理就是為這些決定制定愿景，政策，標準，流程和規則。

治理是執政的行為。它涉及到定義期望值，授予權力（決策權），并且對結果進行驗證。

治理是統一的管理。有凝聚力的政策，指導，流程和規則，以確保我們在合適的時間，以正確的方式在做正確的事情。

治理將為企業建立一個愿景，并制定相應的政策，企業愿景，指導原則，標準和規則，管理是確保這些政策，標準，原則和規則的實際應用，并在新的和現有的系統中體現。治理把與業務戰略相關的決策和監督與實際操作緊密聯系起來。

因此，數據治理也不同于數據管理（Data Management），數據管理更關注的是管理過程，例如數據質量管理、數據標準管理。而數據治理關注的是組織架構、制度、流程這些管理要素的整合和執行。

對于銀行來講，數據管理的內容會有很多方面，而數據治理的內容只有一個。因此數據治理可以理解為是對數據管理的管理。

近些年來，國內多家銀行在數據治理領域也在做不斷的探索，很多大中型銀行都啟動了數據治理相關的咨詢項目和落地項目，但是在這些項目實踐中也發現，缺乏成熟的方法論、缺乏整體的治理框架、缺乏整體的實施路線圖，這些問題往往制約著數據治理工作的開展。

為了確保從數據中獲取商業價值，所有與數據和信息相關的治理需要協同運作。這意味著他們將承擔共同的責任，以確保正確的數據被傳送，并在正確的時間，以正確的方式，被正確的人員使用

IT治理。監督選定的技術是否符合企業的IT基礎架構，與經過批準的標準的技術和IT流程一致。

數據治理。確保了數據是正確的，數據的定義和使用是一致的，BI治理將確保數據以正確的方式展示，倉庫治理和IT治理通過確保倉庫和IT基礎架構的有效性來支持數據的正確交付。

數倉治理。指導和控制數據倉庫的管理，對DW的有效性和效率負責。IT治理政策（像IT支持政策，版本控制等）和數據治理流程（如數據分析和清潔）也應適用于數據倉庫，使其高效和有效的。

BI治理。對商業智能（BI）和業務分析進行管理控制，負責信息的正確使用和傳遞。

上圖顯示了不同的治理類型在EDW中的關系，從左到右：

1、左邊數據產生，及數據的輸入（手工）或數據創建（辦自動化/自動）。

數據治理：負責建立輸入或創建數據的政策、指導原則、標準和規則。

2.產生的數據存儲在運營系統中，支持報表或者被其他操作流程提取。

數據治理：負責在操作型系統中制定數據訪問和安全政策，以及在定義數據和數據建模時如何應用標準。

IT治理：負責確保操作型系統持續可用，用戶可以輸入數據。

3.數據倉庫從不同的獨立的源系統中獲取

•數據治理：負責決定什么數據應該被獲取，以及數據獲取的頻率。

•IT治理：負責決定數據獲取的技術，工具使用的條件以及文件格式，等等。

•倉庫治理：負責確保獲取數據時倉庫是可用的，以及數據提交（batch,file）的格式，等等。

4.獲取的數據存儲在數據倉庫的數據獲取層:

•數據治理：負責決定數據進行整合之前是否進行數據剖析（data profiling），是否額外的控制字段需要加入到數據結構中。

•IT治理：負責確保IT基礎架構已經建立(數據傳輸的網絡，倉庫服務器）。

•倉庫治理：負責決定多少歷史數據必須加載，哪些數據可以歸檔。

5.獲取的源數據經過轉換進入到數據整合層，數據整合層提供一個整合的數據視圖而不論數據的來源，整合層具有范式化的數據結構來支持數據在企業方位內可以重用。

•數據治理：定義元數據管理政策，確保數據具有業務含義。

•IT治理：標準的數據建模工具。

•倉庫治理：負責確保DW容量規劃符合將來新的數據導入需要。

6.范式化和集成的數據需要在訪問層被“非范式化”，使得數據能夠目標業務用戶訪問：

•數據治理：定義數據訪問政策，即定義什么角色可以訪問哪類數據。

•IT治理：定義開發訪問層組件的IT版本控制策略。

•倉庫治理：定義和監控SLA協議，確保目前的性能和工作負載管理是最優的。

•BI治理：制定訪問層業務元數據建立的指導原則和規則。

7.訪問層提供的數據發布到目標系統（分析應用和操作，立方體，報表，文件等），使信息消費。

8.對存儲在目標系統的數據作進一步的分析或決策（業務用戶或分析師）。

因此，數據治理是一個跨系統、跨業務部門和技術部門的系統工程，同時作為企業高階的規劃，數據治理的規劃通常是在企業發展戰略高層次的規劃指引下，結合IT治理規劃進行。

04數據認責概念

那么，誰對數據負責呢，有人會說：“不是IT負責嗎？”。但是通常IT對此沒有太大的幫助，除非他們具有以下的業務知識：

•能夠解釋在業務使用環境中需要的信息和可能用到的數據。

•識別受污染數據的根源和其他數據問題的根源

•解決數據問題

•從其他數據分離出干凈的數據，等等

IT是負責系統和基礎設施的，對數據認責的人員應該來自于業務部門，因為他們是系統的使用人員，知道什么是最好的數據。Gartner在2008年的一份報告中指出：“以提升數據質量為己任的企業必須要指派數據管理人員。數據認責若要成功，企業文化必須轉變，數據應視為競爭性資產而非不得已而為之的手段。”

數據認責的主要內涵是確定數據治理工作的相關各方的責任和關系，包括數據治理過程中的決策、執行、解釋、匯報、協調等活動的參與方和負責方，以及各方承擔的角色和職責等。

•數據認責適用于所有參與其中的人員，如：管理和提升數據質量的數據專家，當錄入數據時需要了解數據政策和規則的業務用戶，當數據變更或規則變更時需要知情的數據消費者，正在進行數據開發項目需要清楚數據管理標準，指導方針，工具和流程的項目組成員。

•認責制可以防止事情“遭忽略而產生缺陷/失敗”，這經常存在于企業的責任認定中。

•認責制并不一定都在企業的高層人員，而是定位在最適當的水平，只要這個人員能夠對這項工作擔負起責任。

數據認責要達到的目標

•形成由數據治理負責部門牽頭的，全員參與的主動認責文化，重視問題的溝通，能夠主動剖析和快速響應出現的認責問題；

•建立全行統一的認責流程，認責流程管理持續優化；

•細化和落實各類數據認責流程、管理辦法，并成功地將數據認責納入企業績效考核體系當中；

•執行基于數據域的數據認責模式，數據域的劃分清晰且合理，理清各部門、各小組以及各參與人所承擔的角色職責，在全行推廣數據認責。

下圖顯示了一個數據問題管理流程，在這個流程中我們可以看到數據認責的四個主要的角色：

•數據使用者

需要理解數據標準、數據制度和規則，遵守和執行數據治理相關的流程，根據數據的相關要求使用數據，并提出數據質量問題。

•數據所有者

對數據資產負責，同時對數據管理的政策、標準、規則、流程負責，提供數據的業務需求，分配數據的使用權，解釋數據的業務規則和含義，執行關于數據分類、訪問控制和數據管理的最終決策。

•數據提供者

負責按相關的數據標準、數據制度和規則、業務操作流程的要求生產數據，并對生產數據的質量負責。

•數據管理者

負責落實數據需求，對數據實施管理，保證數據的完整性、準確性、一致性和隱私，負責數據的日常管理與維護。