什么是數(shù)據(jù)質(zhì)量？
數(shù)據(jù)是當(dāng)代企業(yè)和組織的重要資產(chǎn)，高質(zhì)量的數(shù)據(jù)對于保證業(yè)務(wù)運營、決策制定和戰(zhàn)略執(zhí)行的效率和準(zhǔn)確性至關(guān)重要。隨著數(shù)據(jù)資產(chǎn)的不斷增長，如何有效地管理和維護數(shù)據(jù)質(zhì)量已經(jīng)成為企業(yè)面臨的一個重大挑戰(zhàn)。
在國際數(shù)據(jù)管理協(xié)會的《數(shù)據(jù)管理知識手冊》中，數(shù)據(jù)質(zhì)量（DQ）是“既指與數(shù)據(jù)有關(guān)的特征，也指用于衡量或改進數(shù)據(jù)質(zhì)量的過程?！备哔|(zhì)量的數(shù)據(jù)應(yīng)當(dāng)具有完整性、準(zhǔn)確性、一致性等特征；反之，低劣的數(shù)據(jù)質(zhì)量將給組織帶來諸多風(fēng)險,如決策失誤、運營效率低下、合規(guī)違規(guī)等。因此，建立一套完善的數(shù)據(jù)質(zhì)量管理體系對于任何依賴數(shù)據(jù)驅(qū)動的組織都是必不可少的。
當(dāng)前，影響數(shù)據(jù)質(zhì)量的關(guān)鍵因素主要包括：數(shù)據(jù)源和采集方式、數(shù)據(jù)處理流程、技術(shù)架構(gòu)、人員素質(zhì)等。此外，缺乏規(guī)范的元數(shù)據(jù)管理和數(shù)據(jù)標(biāo)準(zhǔn)化也是導(dǎo)致數(shù)據(jù)質(zhì)量問題的常見原因。維護高質(zhì)量數(shù)據(jù)面臨的主要挑戰(zhàn)有：大數(shù)據(jù)場景下海量數(shù)據(jù)的質(zhì)量管控難題、多源異構(gòu)數(shù)據(jù)集成質(zhì)量、落后的數(shù)據(jù)質(zhì)量管理技術(shù)和工具、數(shù)據(jù)治理機制缺失導(dǎo)致質(zhì)量缺失問題責(zé)任難以落實等。
數(shù)據(jù)質(zhì)量管理的意義
良好的數(shù)據(jù)質(zhì)量管理機制則能夠從根本上保證和持續(xù)監(jiān)控以上各項質(zhì)量維度，以確保數(shù)據(jù)創(chuàng)造最大價值。數(shù)據(jù)質(zhì)量管理的目標(biāo)是通過一系列流程管控和技術(shù)實踐，最大程度提高數(shù)據(jù)質(zhì)量，從而支持業(yè)務(wù)發(fā)展和決策智能化。
數(shù)據(jù)質(zhì)量管理可以解決“數(shù)據(jù)質(zhì)量現(xiàn)狀如何，哪有問題，誰來改進，如何提高，怎樣考核”的問題。
在關(guān)系型數(shù)據(jù)庫時代，做數(shù)據(jù)治理最主要的目的是提升數(shù)據(jù)質(zhì)量，讓報表、分析、應(yīng)用更加準(zhǔn)確。如今，數(shù)據(jù)治理的范圍擴大，更加注重數(shù)據(jù)的服務(wù)和共享、數(shù)據(jù)價值的挖掘和運營，但是提升數(shù)據(jù)的質(zhì)量依然是數(shù)據(jù)治理最重要的目標(biāo)之一。
數(shù)據(jù)質(zhì)量管理是基于數(shù)據(jù)指標(biāo)、質(zhì)量檢核、問題發(fā)現(xiàn)和問題監(jiān)控追蹤的完善的數(shù)據(jù)質(zhì)量管理體系，發(fā)現(xiàn)和解決數(shù)據(jù)問題，保證數(shù)據(jù)應(yīng)用無后顧之憂。建立“誰產(chǎn)生、誰維護、誰負(fù)責(zé)”的數(shù)據(jù)質(zhì)量監(jiān)督評價機制，確保源頭數(shù)據(jù)真實、準(zhǔn)確、完整、及時。
數(shù)據(jù)質(zhì)量的6個檢核維度
數(shù)據(jù)質(zhì)量維度是數(shù)據(jù)的某個可測量的特性。術(shù)語“維度”可以類比于測量物理對象的維度，如姓名、性別、職務(wù)等。數(shù)據(jù)質(zhì)量維度提供了定義數(shù)據(jù)質(zhì)量要求的一組詞匯，通過這些維度定義可以評估初始數(shù)據(jù)質(zhì)量和持續(xù)改進的成效。為了衡量數(shù)據(jù)質(zhì)量，組織需要針對重要業(yè)務(wù)流程和可以測量的參數(shù)建立特征。維度是衡量規(guī)則的基礎(chǔ)，其本身應(yīng)該與關(guān)鍵流程中的潛在風(fēng)險直接相關(guān)。
一般用戶從以下6個維度對數(shù)據(jù)質(zhì)量進行檢核，分別是：完整性、唯一性、有效性、一致性、準(zhǔn)確性、及時性、關(guān)聯(lián)性。
完整性：完整性是指數(shù)據(jù)的記錄和信息是否完整，是否存在缺失的情況。數(shù)據(jù)的缺失主要包括記錄的缺失和記錄中某個字段信息的缺失，兩者都會造成數(shù)據(jù)不準(zhǔn)確，所以說完整性是數(shù)據(jù)質(zhì)量最基礎(chǔ)的保障。
唯一性：針對某個數(shù)據(jù)項或某組數(shù)據(jù)，沒有重復(fù)的數(shù)據(jù)值。值必須是唯一的，如ID類數(shù)據(jù)。
有效性：數(shù)據(jù)符合已定義的格式規(guī)范和業(yè)務(wù)規(guī)則；數(shù)據(jù)是否在可控、安全的范圍內(nèi)發(fā)布和使用。
一致性：一致性通常體現(xiàn)在跨度很大的數(shù)據(jù)倉庫中。例如，某高校有很多業(yè)務(wù)數(shù)倉分支，對于同一份數(shù)據(jù)，在不同的數(shù)倉分支中必須保證一致性（數(shù)倉各層數(shù)據(jù)經(jīng)過ETL后，條數(shù)、數(shù)據(jù)值、類型需要與上層保持一致）。例如，從在線業(yè)務(wù)庫加工到數(shù)據(jù)倉庫，再到各個數(shù)據(jù)應(yīng)用節(jié)點，用戶ID必須保持同一種類型，且長度也要保持一致。
準(zhǔn)確性：準(zhǔn)確性是指數(shù)據(jù)中記錄的信息和數(shù)據(jù)是否準(zhǔn)確、是否存在異?；蛘咤e誤的信息。例如，成績單中分?jǐn)?shù)出現(xiàn)負(fù)數(shù)或表單中出現(xiàn)錯誤的師生信息等，這些數(shù)據(jù)都是問題數(shù)據(jù)。確保記錄的準(zhǔn)確性也是保證數(shù)據(jù)質(zhì)量必不可少的一部分。
及時性：保障數(shù)據(jù)的及時產(chǎn)出才能體現(xiàn)數(shù)據(jù)的價值。例如，決策分析師通常希望當(dāng)天就可以看到前一天的數(shù)據(jù)。若等待時間過長，數(shù)據(jù)失去了及時性的價值，數(shù)據(jù)分析工作將失去意義。
關(guān)聯(lián)性：數(shù)據(jù)的關(guān)聯(lián)性是指各個數(shù)據(jù)集之間的關(guān)聯(lián)關(guān)系。比如工資數(shù)據(jù)和績效考核數(shù)據(jù)是通過職員這個資源關(guān)聯(lián)在一起來的，而且績效數(shù)據(jù)直接關(guān)系到工資的多少。
希嘉如何提升數(shù)據(jù)質(zhì)量？
希嘉作為專業(yè)的數(shù)據(jù)管理基礎(chǔ)設(shè)施及服務(wù)供應(yīng)商，從組織、制度、技術(shù)三個層面實現(xiàn)“進、存、管、出、服”的數(shù)據(jù)全生命周期管理，對數(shù)據(jù)進行有效的、高質(zhì)量的治理，更好地提高數(shù)據(jù)質(zhì)量、釋放數(shù)據(jù)價值，改進決策、縮減成本、降低風(fēng)險，助力企業(yè)級客戶數(shù)字化發(fā)展。
全方位數(shù)據(jù)管理，源頭上把控數(shù)據(jù)質(zhì)量
希嘉通過組織、制度和技術(shù)的結(jié)合與實踐活動，用以管理、維護、開發(fā)數(shù)據(jù)，源頭上把控數(shù)據(jù)質(zhì)量。
組織上，通過治理組織架構(gòu)、溝通機制和執(zhí)行決策機制，確保治理涉及的技術(shù)問題、業(yè)務(wù)問題和決策問題能夠得到有效解決；制度上，制定符合實際情況的數(shù)據(jù)規(guī)范、管理規(guī)范及績效評價機制，加強部門相互協(xié)同，確保項目的順利實施；技術(shù)上，以先進的技術(shù)架構(gòu)，搭載數(shù)據(jù)工具軟件和建設(shè)數(shù)據(jù)倉庫，提供高效數(shù)據(jù)管理能力，降低數(shù)據(jù)使用成本。
開展多源數(shù)據(jù)治理，運行中提升數(shù)據(jù)質(zhì)量
希嘉以“八步法”依次進行數(shù)據(jù)摸底、數(shù)據(jù)采集、數(shù)據(jù)確權(quán)、數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)質(zhì)量提升、數(shù)據(jù)集市開發(fā)、形成目錄、數(shù)據(jù)服務(wù)，進行數(shù)據(jù)盤點及資產(chǎn)目錄構(gòu)建，定義、盤點、規(guī)劃無序的數(shù)據(jù)類和應(yīng)用類資源，構(gòu)建主題明確服務(wù)完善、權(quán)責(zé)清晰的數(shù)據(jù)資產(chǎn)管理體系。
進行數(shù)據(jù)清洗質(zhì)檢，并向業(yè)務(wù)部門輸出數(shù)據(jù)質(zhì)量報告，在表單數(shù)據(jù)服務(wù)平臺里對數(shù)據(jù)內(nèi)容進行糾錯補錄，在數(shù)據(jù)應(yīng)用中進行持續(xù)運營式數(shù)據(jù)糾錯，提升數(shù)據(jù)質(zhì)量。
數(shù)據(jù)質(zhì)量不僅是數(shù)字化轉(zhuǎn)型的關(guān)鍵要素，也是信息社會發(fā)展的基礎(chǔ)保障。只有不斷提升數(shù)據(jù)質(zhì)量意識，加強數(shù)據(jù)管理，才能在激烈的市場競爭中立于不敗之地，實現(xiàn)長期穩(wěn)定的發(fā)展。希嘉深耕數(shù)據(jù)細(xì)分領(lǐng)域多年，專注于為企業(yè)級客戶提供 “安全、可信、持續(xù)創(chuàng)新” 的綜合性數(shù)據(jù)產(chǎn)品和服務(wù)，已廣泛應(yīng)用于教育、政企等領(lǐng)域。
未來，希嘉將踐行“做精核心數(shù)據(jù)倉庫，開展場景數(shù)據(jù)服務(wù)”新主張，以降低數(shù)據(jù)使用門檻的服務(wù)目標(biāo)，為用戶提供卓越的數(shù)據(jù)使用體驗。