年復(fù)一年，磁盤(pán)空間的單位成本正變得每況愈“低”。既然只要花區(qū)區(qū)50美元就能買(mǎi)個(gè)1TB的硬盤(pán)，通常來(lái)說(shuō)在存儲(chǔ)方面談什么節(jié)流問(wèn)題總是顯得比較雞肋。

但在云中，情況就完全不同了。如果我們保留太多沒(méi)啥價(jià)值的數(shù)據(jù)或者文件副本，那么龐大的支出會(huì)以?xún)煞N方式接踵而來(lái)。首先是每個(gè)月的存儲(chǔ)開(kāi)銷(xiāo)，其次則是在涉及搜索、視圖、報(bào)告以及儀表板升級(jí)時(shí)由此帶來(lái)的性能低下。在云中，修整數(shù)據(jù)集的確能夠帶來(lái)切實(shí)的效益。

目前的首要議程是對(duì)問(wèn)題做出評(píng)估：我們的存儲(chǔ)體系中主要是文檔，還是表格數(shù)據(jù)？二者通常會(huì)帶來(lái)不同類(lèi)型的存儲(chǔ)限制，用于應(yīng)對(duì)它們的策略及工具也頗有差異。

文檔通常作為記錄的附件存在（例如常常被附于相關(guān)業(yè)務(wù)之后的合同簽署PDF文件），因此用戶(hù)往往很難快速將其找出。這種特性使得同一份文檔可能經(jīng)常會(huì)被三到四份不同的記錄同時(shí)調(diào)用。我們還需要找到那些短期進(jìn)行過(guò)數(shù)次修改的多個(gè)文檔版本。首先要做的是將系統(tǒng)中的每份文檔歸納起來(lái)，形成一份輸出列表（包括文檔歸附的ID記錄以及最后一次更新日期等），并利用電子表格過(guò)濾器找出重復(fù)的文檔。有專(zhuān)門(mén)的重復(fù)文件檢測(cè)工具，能夠在這方面幫上大忙（通過(guò)檢測(cè)文件內(nèi)容）；但在云中我還沒(méi)聽(tīng)說(shuō)過(guò)哪種工具能實(shí)現(xiàn)同樣的功能。除非大家愿意把所有文件下載到自己的本地服務(wù)器上并深入加以分析；要用這樣的方式修整文件，我們將面對(duì)極為繁重的工作量。由于光存儲(chǔ)介質(zhì)非常廉價(jià)，我們還不如直接把云中的數(shù)據(jù)歸檔，再把云存儲(chǔ)整體清空，免得將來(lái)有人抱怨。

表格數(shù)據(jù)則完全不同，因?yàn)椴煌?lèi)型的云在處理此類(lèi)數(shù)據(jù)時(shí)會(huì)采用許多與系統(tǒng)有關(guān)的特定方式與技術(shù)。也就是說(shuō)，常見(jiàn)處理流程如下：

•確定自己的哪一套云系統(tǒng)確實(shí)存在存儲(chǔ)問(wèn)題。某些系統(tǒng)（例如財(cái)會(huì)系統(tǒng)）完全無(wú)法加以修整，因?yàn)橄嚓P(guān)工作人員需要經(jīng)常審核并保存好長(zhǎng)期以來(lái)的全部細(xì)節(jié)信息。其它系統(tǒng)（例如營(yíng)銷(xiāo)自動(dòng)化或者日志分析系統(tǒng)）如果在運(yùn)行時(shí)經(jīng)常在短時(shí)間內(nèi)收集大量細(xì)節(jié)信息，它們就是導(dǎo)致系統(tǒng)拖慢的罪魁禍?zhǔn)住?/p>

•確定哪些表格消耗掉了我們總存儲(chǔ)量的20%以上。它們就是修整的重點(diǎn)。

•針對(duì)每個(gè)表格，了解各項(xiàng)單獨(dú)記錄的價(jià)值。有些表格（特別是賬戶(hù)或者合同）幾乎完全不能加以改動(dòng)，因?yàn)樗鼈兊膬?nèi)容非常重要而且一旦被清除將造成很大影響（尤其是當(dāng)這些表格與外部系統(tǒng)集成起來(lái)時(shí)）。其它表格，例如“匿名信息”，尤其是營(yíng)銷(xiāo)自動(dòng)化系統(tǒng)當(dāng)中的那些則往往可以恣意處理。

•在采取進(jìn)一步措施前，在磁盤(pán)或者光介質(zhì)上先對(duì)云中的數(shù)據(jù)進(jìn)行一次整體備份。我在這里以最鄭重的態(tài)度提醒各位：這一步驟絕對(duì)不能忽略。

•對(duì)于那些可以隨意修整的表格，先評(píng)估一下其“信噪比”（即有用信息與無(wú)用信息之間的比率）。有哪些信息由于年深日久而已經(jīng)變得完全沒(méi)有價(jià)值了？舉例來(lái)說(shuō)，在營(yíng)銷(xiāo)自動(dòng)化或者網(wǎng)頁(yè)監(jiān)控云中，我們有誰(shuí)會(huì)真的在意某位匿名訪(fǎng)客已經(jīng)六個(gè)月沒(méi)有再次出現(xiàn)了？將所有分?jǐn)?shù)為負(fù)的內(nèi)容刪除有何不可？我相信大家一定希望先對(duì)受影響的用戶(hù)進(jìn)行全面分析，不過(guò)請(qǐng)記住，以信噪比方式修整數(shù)據(jù)的最終目的是為了在短時(shí)間內(nèi)迅速清理數(shù)以百萬(wàn)計(jì)的記錄。

•有些表格的信噪比結(jié)果良好，但其中所存儲(chǔ)的諸多細(xì)節(jié)也沒(méi)啥存在的必要。舉例來(lái)說(shuō)，許多營(yíng)銷(xiāo)自動(dòng)化以及電子郵件推送系統(tǒng)使用活躍表格來(lái)記錄重要的郵件及網(wǎng)頁(yè)交互行為。這些活躍表格可能會(huì)占用一半的系統(tǒng)存儲(chǔ)空間。但是某個(gè)人一年前的今天看了視頻A、前一天則看了視頻B，這種信息能有多大意義？大家不妨使用這樣一種評(píng)判標(biāo)準(zhǔn)：如果某種特定的細(xì)節(jié)不會(huì)改變?nèi)魏稳说臎Q定或者行為，那么它就不算是“信息”。有鑒于此，我們建議采取一種壓縮的方式：保留該信息，但清除六個(gè)月及之前的各類(lèi)細(xì)節(jié)。歷史記錄通常被存儲(chǔ)為自定義表格、描述標(biāo)簽、代表性字符串甚至位圖這些對(duì)存儲(chǔ)空間要求較低的形式。要對(duì)其進(jìn)行修整需要縝密的思維、用戶(hù)輸入以及自定義代碼開(kāi)發(fā)，雖然過(guò)程不容易，但最終我們會(huì)獲得一套以信息價(jià)值為主導(dǎo)的連續(xù)修整機(jī)制。

•有些表格（尤其是信息與聯(lián)系人方面的）往往會(huì)迅速收集大量重復(fù)信息，特別是大家的公司已經(jīng)具備了一套專(zhuān)門(mén)處理信息與聯(lián)系人事務(wù)的系統(tǒng)。如果大家的云系統(tǒng)支持重復(fù)數(shù)據(jù)刪除工具（一般來(lái)自主流服務(wù)供應(yīng)商或者第三方），不妨買(mǎi)一套口碑好的并真正掌握它的用法。最理想的工具都擁有模糊邏輯算法，能幫我們?cè)诓灰苿?dòng)云中數(shù)據(jù)的前提下找出并合并重復(fù)信息。整個(gè)合并過(guò)程會(huì)盡量保留數(shù)據(jù)，但如果各位的云中存在大量數(shù)據(jù)沖突（例如為同一位聯(lián)系人存儲(chǔ)了兩個(gè)完全不同的手機(jī)號(hào)碼），我們恐怕需要為此建立陰影區(qū)域并將不同的數(shù)據(jù)在合并之前填充進(jìn)去。出于多少?gòu)?fù)雜的原因，數(shù)據(jù)合并工作必須分階段進(jìn)行：它會(huì)占用大量的CPU處理時(shí)間，也會(huì)給我們的頭腦增添不少負(fù)擔(dān)，不過(guò)說(shuō)到底，它也能清除以十萬(wàn)計(jì)的重復(fù)信息。千萬(wàn)別太過(guò)躁進(jìn)，合并這種工作可是沒(méi)有撤銷(xiāo)功能可用的。

上文中提到的大部分屬于一次性修復(fù)，而不是將變化融入日常處理過(guò)程的長(zhǎng)效機(jī)制。如果大家不打算投資以改善自己的數(shù)據(jù)管理流程，那么就準(zhǔn)備好每個(gè)季度按上述步驟進(jìn)行一次修整吧。而且請(qǐng)記住，如果不引入長(zhǎng)效機(jī)制，這些步驟將永遠(yuǎn)困擾著你。

英文原文鏈接：http://www.cio.com/article/693653/Strategies_for_Pruning_Data_in_the_Cloud

原文鏈接：http://cloud.51cto.com/art/201111/301660.htm