當(dāng)今，數(shù)據(jù)正日益成為企業(yè)的關(guān)鍵資產(chǎn)。這時(shí)候，數(shù)據(jù)質(zhì)量的重要性也被提上了日程。

首先，準(zhǔn)確、可靠的實(shí)時(shí)源數(shù)據(jù)將減小項(xiàng)目風(fēng)險(xiǎn)。作為數(shù)據(jù)集成項(xiàng)目初期的關(guān)鍵需求，提高數(shù)據(jù)質(zhì)量可以防止項(xiàng)目的延期，同時(shí)節(jié)省成本。高質(zhì)量的數(shù)據(jù)有助于簡化IT運(yùn)營并充分利用有限的資源。擁有高質(zhì)量數(shù)據(jù)的IT機(jī)構(gòu)可以專心致力于項(xiàng)目的實(shí)施，最終提高營業(yè)收入。

其次，當(dāng)數(shù)據(jù)質(zhì)量低下或不可靠時(shí)，企業(yè)效益會(huì)受到影響。另外，高質(zhì)量的數(shù)據(jù)有助于滿足行業(yè)法規(guī)的要求，從而支持業(yè)務(wù)的運(yùn)營?？煽?、可審計(jì)的高質(zhì)量數(shù)據(jù)提供了合規(guī)性所需的透明度。同時(shí)，利用數(shù)據(jù)匹配與合規(guī)性應(yīng)用程序以及司法、智能和防偽系統(tǒng)，高質(zhì)量數(shù)據(jù)也在幕后為企業(yè)提供支持。

最后，高質(zhì)量數(shù)據(jù)可以幫助企業(yè)拓展客戶群。面向客戶的系統(tǒng)（如CRM、呼叫中心和營銷應(yīng)用程序）中正確及時(shí)的數(shù)據(jù)，將幫助企業(yè)提供高級客戶服務(wù)、提高交叉銷售和上行銷售的效率，并將更多的潛在顧客轉(zhuǎn)變?yōu)檎嬲目蛻簟?

六大要素評估數(shù)據(jù)質(zhì)量

要評估企業(yè)的數(shù)據(jù)質(zhì)量，必須要考慮六大因素。存在性：企業(yè)是否擁有數(shù)據(jù);有效性：數(shù)據(jù)的價(jià)值是否位于有效的范圍或區(qū)域內(nèi);一致性：存儲(chǔ)在不同位置的同一組數(shù)據(jù)是否具有相同的價(jià)值;適時(shí)性：業(yè)務(wù)流程是否能在適當(dāng)?shù)臅r(shí)間獲取數(shù)據(jù);準(zhǔn)確性：數(shù)據(jù)是否能正確描述所建模對象的屬性;相關(guān)性：數(shù)據(jù)是否支持業(yè)務(wù)目標(biāo)。

確保數(shù)據(jù)質(zhì)量不僅涉及到在企業(yè)范圍內(nèi)查找并修復(fù)丟失或錯(cuò)誤數(shù)據(jù)，還意味著為業(yè)務(wù)提供全面、一致、相關(guān)且適時(shí)的數(shù)據(jù)，而不考慮數(shù)據(jù)的應(yīng)用、用途以及來源。

劣質(zhì)數(shù)據(jù)的產(chǎn)生原因

數(shù)據(jù)質(zhì)量的降低與輸入、維護(hù)、處理、接收、存儲(chǔ)的操作有極大的關(guān)系。

就輸入來說，如果數(shù)據(jù)字段為空或向字段中輸入了錯(cuò)誤數(shù)據(jù)，則數(shù)據(jù)質(zhì)量就會(huì)降低。舉一個(gè)因?yàn)閿?shù)據(jù)輸入錯(cuò)誤引起數(shù)據(jù)質(zhì)量問題的例子，由于沒有為交叉銷售響應(yīng)代碼設(shè)置字段，員工可能誤將此數(shù)據(jù)輸入銷售日期字段中。另外，公司可能使用基于表格的應(yīng)用程序，而這些應(yīng)用程序不能在數(shù)據(jù)輸入時(shí)提供充分的字段驗(yàn)證。例如，如果客戶的ID中含有大寫字母“I”，公司可能將其看成數(shù)字“1”，從而無法正確地跟蹤或聯(lián)系此客戶，或者可能為客戶創(chuàng)建多個(gè)條目。

對數(shù)據(jù)進(jìn)行維護(hù)的操作也會(huì)發(fā)生劣質(zhì)數(shù)據(jù)，每個(gè)數(shù)據(jù)維護(hù)操作的失誤都可能改變數(shù)據(jù)，從而導(dǎo)致無法預(yù)知的結(jié)果;而在處理過程中，隨著錯(cuò)誤數(shù)據(jù)的輸入，它可能會(huì)擴(kuò)散到多個(gè)系統(tǒng)中，從而影響到整個(gè)企業(yè)中數(shù)據(jù)的質(zhì)量。隨著企業(yè)越來越傾向于將業(yè)務(wù)流程外包給第三方或者與合作伙伴以及供應(yīng)商協(xié)作，企業(yè)對數(shù)據(jù)的接收過程難以監(jiān)測，導(dǎo)致它們無法對數(shù)據(jù)進(jìn)行即時(shí)控制。而在數(shù)據(jù)存儲(chǔ)環(huán)節(jié)，在多個(gè)系統(tǒng)中存儲(chǔ)數(shù)據(jù)經(jīng)常導(dǎo)致數(shù)據(jù)一致性問題。

多種方式提高數(shù)據(jù)質(zhì)量

由于系統(tǒng)和應(yīng)用程序經(jīng)常接收到新數(shù)據(jù)，數(shù)據(jù)的總量也在不斷提高，因此確保數(shù)據(jù)質(zhì)量并不是一次就能完成的。所有企業(yè)都應(yīng)該使用一種反復(fù)進(jìn)行的階段性過程來管理數(shù)據(jù)質(zhì)量，此過程包括數(shù)據(jù)質(zhì)量評估、規(guī)劃以及策略的選擇和實(shí)施。

數(shù)據(jù)質(zhì)量評估

首先要評估當(dāng)前的數(shù)據(jù)質(zhì)量狀態(tài)，為提高數(shù)據(jù)質(zhì)量構(gòu)建業(yè)務(wù)案例。無論數(shù)據(jù)存儲(chǔ)在哪里（企業(yè)ERP或CRM系統(tǒng)、遺留和大型機(jī)系統(tǒng)、合作伙伴和供應(yīng)商系統(tǒng)、各種電子表格、文檔、.pdf 文件或桌面數(shù)據(jù)庫），數(shù)據(jù)探查都能幫助企業(yè)準(zhǔn)確地評估數(shù)據(jù)的內(nèi)容、質(zhì)量和結(jié)構(gòu)。

主管人員參與數(shù)據(jù)質(zhì)量評估以及展示您在數(shù)據(jù)探查過程中發(fā)現(xiàn)的問題對于數(shù)據(jù)質(zhì)量評估來說都很重要。在最有效的數(shù)據(jù)質(zhì)量評估中，所有問題都將按照對業(yè)務(wù)影響從大到小的順序列出，這將幫助IT機(jī)構(gòu)節(jié)省項(xiàng)目成本。

數(shù)據(jù)質(zhì)量計(jì)劃

徹底了解企業(yè)數(shù)據(jù)的內(nèi)容和質(zhì)量后，接下來的步驟是開發(fā)一個(gè)遞增項(xiàng)目計(jì)劃，修改當(dāng)前的錯(cuò)誤并避免未來錯(cuò)誤的發(fā)生。有效的計(jì)劃不但可以提高企業(yè)當(dāng)前所有應(yīng)用程序中數(shù)據(jù)的質(zhì)量，還將制定一些方式以確保新應(yīng)用程序從一開始就遵循數(shù)據(jù)質(zhì)量規(guī)則。

數(shù)據(jù)質(zhì)量策略的選擇和實(shí)施 選擇改善企業(yè)數(shù)據(jù)質(zhì)量的策略，要求決策者權(quán)衡每個(gè)數(shù)據(jù)質(zhì)量計(jì)劃的成本以及該策略產(chǎn)生的影響。目前的策略類型有兩種:在向企業(yè)輸入數(shù)據(jù)時(shí)提高數(shù)據(jù)質(zhì)量的方法稱為“上游”方法，而在從運(yùn)營系統(tǒng)提取數(shù)據(jù)的應(yīng)用程序（例如，數(shù)據(jù)倉庫）中改善數(shù)據(jù)質(zhì)量的方法是“下游”方法。

上游策略研究當(dāng)前應(yīng)用程序的邏輯、數(shù)據(jù)和流程，解決探查過程中發(fā)現(xiàn)的異常情況。此策略可能涉及到更改應(yīng)用程序邏輯、添加更好的表驗(yàn)證、改善與數(shù)據(jù)輸入相關(guān)的流程，它致力于企業(yè)數(shù)據(jù)的高準(zhǔn)確性。另外，此策略還要求使用應(yīng)用程序本身附帶的數(shù)據(jù)質(zhì)量功能。

下游策略解決目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫（而非數(shù)據(jù)源）中的數(shù)據(jù)質(zhì)量問題。由于數(shù)據(jù)可以根據(jù)需要隨時(shí)進(jìn)行修改，所以企業(yè)能夠在流程（尤其是數(shù)據(jù)轉(zhuǎn)換、名稱和地址清洗以及查找驗(yàn)證）中改善數(shù)據(jù)質(zhì)量。下游策略僅為目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫改善數(shù)據(jù)質(zhì)量，但與上游策略相比，它的實(shí)施過程更簡單，成本更低。

在數(shù)據(jù)集成中功不可沒

以色列國防部(IDF)的數(shù)據(jù)移植與整合項(xiàng)目是數(shù)據(jù)集成技術(shù)向數(shù)據(jù)質(zhì)量計(jì)劃擴(kuò)展的一個(gè)典型示例。當(dāng)以色列國防部著手將其大型機(jī)和遺留應(yīng)用程序中的數(shù)據(jù)移植到SAP R/3時(shí)，它希望能在數(shù)據(jù)移植過程中解決數(shù)據(jù)質(zhì)量問題，并確保新系統(tǒng)中的數(shù)據(jù)是高質(zhì)量數(shù)據(jù)。然而，在進(jìn)行的初次評估中，系統(tǒng)就顯示了大量數(shù)據(jù)源級質(zhì)量問題，這表示可能需要使用手工編寫代碼的解決方案進(jìn)行數(shù)據(jù)質(zhì)量改進(jìn)，這一情況使以色列國防部的系統(tǒng)工程人員頭疼不已。

他們迫切地需要工具來幫助他們解決這些嚴(yán)重的數(shù)據(jù)質(zhì)量問題，這個(gè)工具不僅要能夠評估當(dāng)前正在處理的數(shù)據(jù)質(zhì)量的數(shù)據(jù)探查，而且能夠分析、轉(zhuǎn)換和更正當(dāng)前數(shù)據(jù)，即數(shù)據(jù)轉(zhuǎn)換與更正。在更正過程中，要能夠利用輔助字段和信息（如郵政編碼和地理信息）清洗或改進(jìn)數(shù)據(jù)，匹配相似的記錄，并基于預(yù)設(shè)的標(biāo)準(zhǔn)執(zhí)行消除和整合。于是，以色列國防部采用了Informatica的PowerCenter。

在對上百萬條數(shù)據(jù)記錄進(jìn)行了清洗和轉(zhuǎn)換后，最后的產(chǎn)品數(shù)據(jù)版本中僅存在350個(gè)漏檢的數(shù)據(jù)記錄錯(cuò)誤，并消除了重復(fù)數(shù)據(jù)，使需要在SAP中跟蹤的內(nèi)容數(shù)量減少了25%。另外，通過一系列數(shù)據(jù)整合的過程，國防部數(shù)據(jù)總量減少了20%，明顯節(jié)省了存儲(chǔ)空間。

提高數(shù)據(jù)質(zhì)量是數(shù)據(jù)倉庫項(xiàng)目的一部分，因?yàn)樗趯?shù)據(jù)從操作系統(tǒng)移向數(shù)據(jù)倉庫的過程中提供了改善數(shù)據(jù)質(zhì)量的機(jī)會(huì)。近來企業(yè)廣泛采用數(shù)據(jù)集成技術(shù)支持?jǐn)?shù)據(jù)移植、數(shù)據(jù)整合、數(shù)據(jù)同步、主數(shù)據(jù)管理和外包等計(jì)劃，為改善數(shù)據(jù)質(zhì)量提供了更多機(jī)會(huì)。另外，由于集成能力中心(ICC)概念的流行，提高數(shù)據(jù)質(zhì)量已成為ICC小組可以提供的一項(xiàng)核心業(yè)務(wù)。ICC將利用集成技術(shù)、專業(yè)知識(shí)、流程和最佳時(shí)間幫助企業(yè)業(yè)務(wù)充分利用IT資源。

來源：軟件世界