本文來自數(shù)據(jù)學(xué)堂。

數(shù)據(jù)已成為數(shù)字經(jīng)濟(jì)的重要生產(chǎn)要素，這意味著，整合更多數(shù)據(jù)、擁有更強(qiáng)的數(shù)據(jù)分析和處理能力，以數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)服務(wù)化、數(shù)據(jù)知識(shí)化驅(qū)動(dòng)業(yè)務(wù)，將是組織獲得核心競(jìng)爭力的關(guān)鍵。

然而，在構(gòu)建數(shù)據(jù)驅(qū)動(dòng)型組織的道路上，數(shù)據(jù)孤島已成為釋放數(shù)據(jù)價(jià)值的關(guān)鍵障礙，主要表現(xiàn)在數(shù)據(jù)整合與治理、組織運(yùn)營、數(shù)字創(chuàng)新等各個(gè)層面。

01“數(shù)據(jù)孤島”是什么？

企業(yè)發(fā)展到一定階段，必然會(huì)跟隨時(shí)代發(fā)展進(jìn)行信息化建設(shè)。而信息化建設(shè)的不平衡，催生了“數(shù)據(jù)孤島”現(xiàn)象的產(chǎn)生。

企業(yè)內(nèi)部通常存在多個(gè)事業(yè)部，每個(gè)事業(yè)部都有各自的數(shù)據(jù)，事業(yè)部之間的數(shù)據(jù)往往都各自存儲(chǔ)，各自定義，形成不同的子系統(tǒng)。而子系統(tǒng)之間并未建立有效的數(shù)據(jù)交換服務(wù)，各業(yè)務(wù)系統(tǒng)數(shù)據(jù)描述標(biāo)準(zhǔn)不一，造成嚴(yán)重的數(shù)據(jù)不一致。各個(gè)子系統(tǒng)內(nèi)所存儲(chǔ)占有的數(shù)據(jù)，就像一個(gè)個(gè)孤島，難以和企業(yè)內(nèi)部的其他數(shù)據(jù)進(jìn)行連接互動(dòng)。

這樣的情況就被稱為“數(shù)據(jù)孤島”現(xiàn)象。簡單來說，就是企業(yè)內(nèi)部的數(shù)據(jù)間缺乏關(guān)聯(lián)性，彼此無法兼容。

組織中一切活動(dòng)都會(huì)產(chǎn)生數(shù)據(jù)，但這些海量的數(shù)據(jù)由于組織戰(zhàn)略、架構(gòu)設(shè)置、數(shù)字化建設(shè)等原因，分散存儲(chǔ)在組織的各個(gè)部門、業(yè)務(wù)系統(tǒng)、應(yīng)用之中，彼此無法互聯(lián)互通、共享，也無法被利用，形成了一個(gè)又一個(gè)孤立的數(shù)據(jù)島嶼。

數(shù)據(jù)孤島作為數(shù)字化轉(zhuǎn)型的負(fù)面產(chǎn)物，已成為一種普遍現(xiàn)象，F(xiàn)orrester調(diào)研發(fā)現(xiàn)，82%的企業(yè)都受到數(shù)據(jù)孤島的阻礙。

02“數(shù)據(jù)孤島”的危害

企業(yè)內(nèi)不同部門數(shù)據(jù)的“各自為政”，大大制約著企業(yè)管理和業(yè)務(wù)的順暢開展：

1、數(shù)據(jù)重復(fù)：由于數(shù)據(jù)流通不暢，企業(yè)各部門在收集數(shù)據(jù)時(shí)會(huì)產(chǎn)生重復(fù)行為，造成了數(shù)據(jù)的重復(fù)、冗余、無效等情況，降低了數(shù)據(jù)的質(zhì)量和準(zhǔn)確度。

2、錯(cuò)誤決策：數(shù)據(jù)的不準(zhǔn)確、不及時(shí)，往往導(dǎo)致企業(yè)決策錯(cuò)誤或決策遲緩，從而影響企業(yè)的口碑和在市場(chǎng)中的競(jìng)爭地位。

3、協(xié)作不良：企業(yè)內(nèi)部數(shù)據(jù)孤島現(xiàn)象的顯著，會(huì)在很大程度上使得企業(yè)各個(gè)部門、團(tuán)隊(duì)之間，因難以獲取工作需要的數(shù)據(jù)，而關(guān)系緊張、協(xié)作不良。

4、效率低下：由于不同部門對(duì)數(shù)據(jù)的理解和定義不同，企業(yè)內(nèi)部的溝通成本上升。同時(shí)，各部門對(duì)數(shù)據(jù)的重復(fù)管理，造成了時(shí)間和金錢的浪費(fèi)、工作效率的低下。

5、客戶體驗(yàn)差：企業(yè)內(nèi)各部門擁有的數(shù)據(jù)不一，容易造成客戶端到端的體驗(yàn)混雜，總體評(píng)價(jià)低。

03為何會(huì)產(chǎn)生“數(shù)據(jù)孤島”現(xiàn)象？

1、以功能為標(biāo)準(zhǔn)的部門劃分導(dǎo)致數(shù)據(jù)孤島。企業(yè)各部門之間相對(duì)獨(dú)立，數(shù)據(jù)各自保管存儲(chǔ)，對(duì)數(shù)據(jù)的認(rèn)知角度也截然不同，最終導(dǎo)致數(shù)據(jù)之間難以互通，形成孤島。也因此集團(tuán)化的企業(yè)更容易產(chǎn)生數(shù)據(jù)孤島的現(xiàn)象。

2、缺少企業(yè)內(nèi)信息化建設(shè)的戰(zhàn)略和標(biāo)準(zhǔn)，如果不能做到信息系統(tǒng)建設(shè)的統(tǒng)一，由不同部門，不同公司來建設(shè)的話，必須有一個(gè)標(biāo)準(zhǔn)能夠使得日后的互通比較容易實(shí)現(xiàn)。

3、不同類型、不同版本的信息化管理系統(tǒng)導(dǎo)致數(shù)據(jù)孤島。人事部門用OA系統(tǒng)，生產(chǎn)部門用ERP系統(tǒng)，銷售部門用CRM系統(tǒng)，甚至一個(gè)人事部門使用一家考勤軟件的同時(shí)，卻在同時(shí)使用另一家的報(bào)銷軟件，后果就是一家企業(yè)的數(shù)據(jù)互通越來越難。

04企業(yè)如何走出數(shù)據(jù)孤島？

關(guān)于事物各個(gè)部分之間的關(guān)系對(duì)整體發(fā)展的影響，哲學(xué)上也曾給出過確定的解答：“當(dāng)事物的各部分以有序、合理、優(yōu)化的結(jié)構(gòu)形成整體時(shí)，整體的功能將大于各部分功能之和；當(dāng)各部分以無序、欠佳的結(jié)構(gòu)形成整體時(shí)，各部分原有的性能得不到發(fā)揮，力量削弱、甚至相互抵消，使整體功能小于各部分之和。”

因此，從長久發(fā)展來看，企業(yè)應(yīng)該徹底解決數(shù)據(jù)孤島現(xiàn)象，讓各部門的信息數(shù)據(jù)以合理有序的方式相互連通影響，從而推動(dòng)企業(yè)的發(fā)展進(jìn)步。

為了解決數(shù)據(jù)孤島的問題，企業(yè)進(jìn)行了很多嘗試。很多企業(yè)開始有意識(shí)地通過調(diào)整數(shù)據(jù)交換架構(gòu)來改善數(shù)據(jù)質(zhì)量，以打破“數(shù)據(jù)孤島”、實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)間數(shù)據(jù)的順暢流動(dòng)。

然而，實(shí)踐表明，企業(yè)網(wǎng)狀的數(shù)據(jù)交換架構(gòu)和以主數(shù)據(jù)治理（管理）平臺(tái)為中心的數(shù)據(jù)交換架構(gòu)都無法徹底地解決數(shù)據(jù)孤島問題。企業(yè)需要既能解決數(shù)據(jù)的交互流動(dòng)，又能控制數(shù)據(jù)質(zhì)量，并且是控制全部靜態(tài)數(shù)據(jù)（主數(shù)據(jù)+業(yè)務(wù)場(chǎng)景數(shù)據(jù)等）的質(zhì)量的解決方案。

經(jīng)過多年的實(shí)踐研究發(fā)現(xiàn)，基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)，可以實(shí)現(xiàn)這一訴求。構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)治理平臺(tái)，并以其為中心構(gòu)建雪花狀數(shù)據(jù)交換架構(gòu)，如圖1所示：

該架構(gòu)的核心是企業(yè)基于數(shù)據(jù)治理平臺(tái)的靜態(tài)數(shù)據(jù)中心，企業(yè)所有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)流動(dòng)都要經(jīng)過該中心的中轉(zhuǎn)，數(shù)據(jù)從各業(yè)務(wù)系統(tǒng)采集過來然后分發(fā)出去，同時(shí)該靜態(tài)數(shù)據(jù)中心對(duì)經(jīng)其中轉(zhuǎn)的數(shù)據(jù)會(huì)進(jìn)行規(guī)范化和標(biāo)準(zhǔn)化，確保數(shù)據(jù)質(zhì)量，實(shí)現(xiàn)數(shù)據(jù)從源頭到目標(biāo)消費(fèi)系統(tǒng)的真正流動(dòng)，從根本上徹底打通企業(yè)內(nèi)的數(shù)據(jù)孤島。

該架構(gòu)中的靜態(tài)數(shù)據(jù)中心對(duì)靜態(tài)數(shù)據(jù)的全方位管理可以很好地規(guī)避主數(shù)據(jù)動(dòng)態(tài)性的問題，并且可以通過靜態(tài)數(shù)據(jù)中心實(shí)現(xiàn)由企業(yè)頂層通覽全局靜態(tài)數(shù)據(jù)。

該架構(gòu)對(duì)數(shù)據(jù)質(zhì)量的控制非常全面，靜態(tài)數(shù)據(jù)中心對(duì)靜態(tài)數(shù)據(jù)的全方位管理可以解決包含主數(shù)據(jù)及業(yè)務(wù)場(chǎng)景數(shù)據(jù)的質(zhì)量問題。

該架構(gòu)能夠提供多種技術(shù)形式的數(shù)據(jù)交換接口，通過即插即用的方式可以隨時(shí)掛接新的業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)新的數(shù)據(jù)交互和流動(dòng)。

另外，數(shù)據(jù)的源頭（指數(shù)據(jù)最初的產(chǎn)生地點(diǎn)，一般指某業(yè)務(wù)系統(tǒng)）是數(shù)據(jù)流動(dòng)的起點(diǎn)，也是數(shù)據(jù)交換架構(gòu)的核心點(diǎn)，針對(duì)數(shù)據(jù)的源頭的選擇更是打通數(shù)據(jù)孤島的關(guān)鍵點(diǎn)，也決定了整個(gè)數(shù)據(jù)交換架構(gòu)的布局。

為了更好地詮釋該數(shù)據(jù)交換架構(gòu)針對(duì)企業(yè)數(shù)據(jù)管理的適用性，下面具體說明一下不同類型數(shù)據(jù)源頭的位置：物資數(shù)據(jù)的源頭一定是靜態(tài)數(shù)據(jù)中心（數(shù)據(jù)治理平臺(tái)）；客戶數(shù)據(jù)的源頭可以是CRM（如有）也可以是靜態(tài)數(shù)據(jù)中心（數(shù)據(jù)治理平臺(tái)），供應(yīng)商數(shù)據(jù)的源頭可以是SRM（如有）也可以是靜態(tài)數(shù)據(jù)中心（數(shù)據(jù)治理平臺(tái)）等，具體原因如表1所示。

05基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)孤島解決方案

部門A為了解決一些大數(shù)據(jù)問題，采購了廠商X的大數(shù)據(jù)解決方案，安裝了一個(gè)大數(shù)據(jù)平臺(tái)，導(dǎo)入自己的數(shù)據(jù)并開發(fā)了一些大數(shù)據(jù)應(yīng)用，運(yùn)行得挺不錯(cuò)。這個(gè)時(shí)候，部門B也需要解決一些大數(shù)據(jù)問題，于是試圖采購廠商Y提供的大數(shù)據(jù)解決方案，但Y的大數(shù)據(jù)平臺(tái)和X的有一些版本、組件上的差異，所以需要對(duì)X的大數(shù)據(jù)平臺(tái)進(jìn)行改造。

問題是，這個(gè)任務(wù)由誰來完成，由誰負(fù)責(zé)改造后的大數(shù)據(jù)平臺(tái)的運(yùn)維？有可能廠商Y的大數(shù)據(jù)應(yīng)用也需要做些改造，這可行嗎？部門A的應(yīng)用已經(jīng)運(yùn)行得很好了，部門B的應(yīng)用會(huì)不會(huì)對(duì)部門A的應(yīng)用造成影響（包括性能和數(shù)據(jù)安全的影響）？如果影響了，誰來負(fù)責(zé)？比較簡單且快速見效的方法是直接安裝廠商Y提供的端到端的解決方案。照此下去，每個(gè)解決方案都會(huì)安裝一個(gè)新的大數(shù)據(jù)系統(tǒng)。

還有一個(gè)問題是，廠商X和廠商Y底層的數(shù)據(jù)結(jié)構(gòu)可能不是對(duì)外公開的，因而它們各自解決自己的問題，雖然開始互不干擾，但是后來就造成了數(shù)據(jù)孤島和煙囪。這個(gè)時(shí)候，由于各個(gè)子系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)不一、數(shù)據(jù)格式不同，各部門之間數(shù)據(jù)無法互聯(lián)互通，很難根據(jù)數(shù)據(jù)做出全局決策。

解決上面的問題，正是數(shù)據(jù)中臺(tái)方法論和架構(gòu)的任務(wù)。TotalPlatform保證所有數(shù)據(jù)應(yīng)用的統(tǒng)一管理，OneID、OneModel確保各子系統(tǒng)中數(shù)據(jù)的互聯(lián)互通，OneService負(fù)責(zé)數(shù)據(jù)能力的共享，TotalInsight確保全局?jǐn)?shù)據(jù)運(yùn)營的高效和價(jià)值量化。

1）全局的數(shù)據(jù)治理

必須有全局的數(shù)據(jù)治理系統(tǒng)來管理所有子系統(tǒng)的數(shù)據(jù)，確保它們能互聯(lián)互通。例如，OneID要求所有關(guān)于用戶的數(shù)據(jù)都必須使用同一個(gè)ID，OneModel要求所有數(shù)據(jù)倉庫的模型都必須符合同樣的標(biāo)準(zhǔn)。

但是這里要指出，解決數(shù)據(jù)孤島和應(yīng)用孤島的問題，除了技術(shù)方案以外，明確責(zé)權(quán)利也很重要。出現(xiàn)孤島的原因之一就是各部門的責(zé)權(quán)利不明晰。如何在使用數(shù)據(jù)中臺(tái)解決孤島問題的同時(shí)保證責(zé)權(quán)利的明晰，是一個(gè)非常重要的問題，我們將在第6章中詳細(xì)描述。

2）數(shù)據(jù)能力的復(fù)用和共享

在進(jìn)行全局的數(shù)據(jù)治理的同時(shí)，治理的結(jié)果必須能為公司創(chuàng)造價(jià)值。這個(gè)時(shí)候就類似于OneService的功能，既要求能進(jìn)行全局的數(shù)據(jù)能力的復(fù)用和共享，也需要類似TotalInsight的功能，管理全局的數(shù)據(jù)資產(chǎn)，量化數(shù)據(jù)能力的投入產(chǎn)出。主要的工作如下：

建立數(shù)據(jù)能力共享的責(zé)權(quán)利機(jī)制；

提供全局的數(shù)據(jù)能力目錄和訪問機(jī)制；

提供數(shù)據(jù)能力共享的工具、機(jī)制和流程；

對(duì)共享的數(shù)據(jù)能力的管控和審計(jì)；

確保共享的數(shù)據(jù)能力的高效運(yùn)行。

3）云原生架構(gòu)的支撐

在這個(gè)階段隨著業(yè)務(wù)的不斷增長，越來越多的應(yīng)用程序被添加到大數(shù)據(jù)系統(tǒng)中。先有Spark、Kafka，后有Flink、TensorFlow，現(xiàn)在又有各種新的大數(shù)據(jù)和人工智能組件。

這些就是在云基礎(chǔ)架構(gòu)上運(yùn)行大數(shù)據(jù)系統(tǒng)的根本原因。而云平臺(tái)為分析工作負(fù)載和一般工作負(fù)載提供了極大支持，并提供了云計(jì)算技術(shù)的所有好處：易于配置和部署、彈性擴(kuò)展、資源隔離、高資源利用率、高彈性、自動(dòng)恢復(fù)。

在云計(jì)算環(huán)境中運(yùn)行大數(shù)據(jù)系統(tǒng)的另一個(gè)原因是大數(shù)據(jù)工具的發(fā)展。傳統(tǒng)的分布式系統(tǒng)（如MySQL集群、Hadoop和MongoDB集群）傾向于處理自己的資源管理和分布式協(xié)調(diào)，但是現(xiàn)在由于Kubernetes、Mesos、YARN等分布式資源管理器和調(diào)度程序的出現(xiàn)，越來越多的分布式系統(tǒng)（如Spark）將依賴底層分布式框架來提供這些資源分配和程序協(xié)調(diào)調(diào)度的分布式操作原語。在這樣的統(tǒng)一框架中運(yùn)行它們將大大降低復(fù)雜性并提高運(yùn)行效率，如下圖所示。

寫在最后的話

數(shù)據(jù)孤島是企業(yè)中與企業(yè)的其他部分隔離且無法訪問的數(shù)據(jù)集合，走出數(shù)據(jù)孤島可以幫助企業(yè)在正確的時(shí)間獲取正確的數(shù)據(jù)以便輔助企業(yè)做出正確的決策，解決企業(yè)數(shù)據(jù)的不一致問題，提升溝通效率，并幫助企業(yè)降低重復(fù)數(shù)據(jù)的存儲(chǔ)問題來節(jié)約成本。

如何走出數(shù)據(jù)孤島？不同的時(shí)期，不同的場(chǎng)景可能需要不同的解決方案，您可以選擇基于痛點(diǎn)需求的數(shù)據(jù)集成融合方案，也可以選擇大而全的數(shù)據(jù)中臺(tái)方案，具體怎么選，需要結(jié)合企業(yè)的需求，沒有最好的只有更合適的。