一、國家政策標準規范數據質量相關要求：
1、數據20條規定：數據作為新型生產要素，是經濟社會數字化轉型的基礎，已成為中國國策，上升到國家意志層面，快速融入生產、分配、流通、消費和社會服務管理等各環節。當前時代，經濟社會精準化治理和企業生產經營管理導致數據量呈爆炸式增長，數據質量的問題也普遍存在。沒有高質量的數據，一切數據分析、數據挖掘、數據應用的效果都會大打折扣，數據價值的潛能發揮及開發利用、交易流通都會受到影響。“數據20條”提出探索開展數據質量標準化體系建設，加快推進數據采集和接口標準化，促進數據整合互通和互操作。鼓勵企業積極參與數據要素市場建設，圍繞數據來源、數據產權、數據質量、數據使用等進行數據流通交易聲明和承諾。要求各部門各行業完善元數據管理、數據脫敏、數據質量、價值評估等標準體系。
2、財會文件規定：24年1月1日起，財政部數據資源會計處理暫行規定文件正式實施，明確提出對企業數據資源進行確權登記、初始計量、后續計量、收入確認、記入財務報表，為企業數據資源進入企業資產負債表提供了合法依據，是企業數據資產化的重要環節，實現了從會計角度在資產方面揭示數據資源的經濟價值，客觀反映數字化賦能所帶來經濟利益的流入情況，為培育數據資源要素市場、促進企業數字化轉型升級、更好地賦能。23年10月1日起，中評協數據資產評估指導意見開始施行，規范了數據資產評估機構和專業人員行為準則。其中數據資產評估操作要求提出執行數據資產評估業務，需要關注影響數據資產價值的成本因素、場景因素、市場因素和質量因素。成本因素包括形成數據資產所涉及的前期費用、直接成本、間接成本、機會成本和相關稅費等。場景因素包括數據資產相應的使用范圍、應用場景、商業模式、市場前景、財務預測和應用風險等。市場因素包括數據資產相關的主要交易市場、市場活躍程度、市場參與者和市場供求關系等。質量因素包括數據的準確性、一致性、完整性、規范性、時效性和可訪問性等。對數據資產質量采取恰當方式執行數據質量評價程序或者獲得數據質量的評價結果，必要時可以利用第三方專業機構出具的數據質量評價專業報告或者其他形式的數據質量評價專業意見等。
3、國家標準要求：國家標準20214285-T-469 《信息技術 大數據 數據資產價值評估》規定，針對數據評估需求，進行數據質量要素、成本要素和應用要素的評價，通過對相關業務場景的數據的質量進行評價和分析，科學、客觀的度量數據質量情況，確定成本和應用的影響范圍，通過質量評價、成本評價、應用評價、報告評審環節最終形成“數據評價報告”，為后續價值評估提供質量要素支撐，也為數據治理指明方向和路徑。
國家標準DCMM數據質量管理能力域體系：
1)數據質量需求明確數據質量目標，根據業務需求及數據要求制定用來衡量數據質量的規則，包括衡量數據質量的技術指標、業務指標以及相應的校驗規則與方法。
2)數據質量檢查根據數據質量規則中的有關技術指標和業務指標、校驗規則與方法對組織的數據質量情況進行實時監控，從而發現數據質量問題，并向數據管理人員進行反饋。
3)數據質量分析是對數據質量檢查過程中發現的數據質量問題及相關信息進行分析，找出影響數據質量的原因，并定義數據質量問題的優先級，作為數據質量提升的參考依據。
4)數據質量提升是對數據質量分析的結果，制定、實施數據質量改進方案，包括錯誤數據更正、優化、應用系統問題修復等，并制定數據質量問題預防方案，確保數據質量改進的成果得到有效保持。
綜合國家政策、標準、規范要求，把好數據資產質量關，企事業單位開展數據質量評測，進行數據評價，是企業數據資源進入資產負債表和開展價值評估的前置要求，同時為企業建立完善的數據質量管理體系提供路徑指引。
二、數據質量問題常見原因及質量評測指標
引發企業數據質量問題很多，涉及企業的信息系統、組織架構、人員、制度流程、企業文化等。目前常見的數據質量方面問題主要有三個方面：(1)數據來源不統一：同一數據可能來自多個數據源,由于角度不同可能產生理解偏差,導致數據質量問題(2)數據生存周期技術問題：數據在采集、傳輸、存儲、挖掘、分析、利用和銷毀等環節異常，導致數據質量問題;(3)應用系統使用操作不當：系統的建設容易忽視配套應用操作規范流程的制定和跟進。
按照國家數據質量標準要求，普適性評價指標主要包括：
1、規范性：數據符合數據標準、數據模型、業務規則、元數據或權威參考數據的程度；
2、 完整性：按照數據規則要求,數據元素被賦予數值的程度；
3、 準確性：數據準確表示其所描述的真實實體(實際對象)真實值的程度；
4、 一致性：數據與特定上下文中使用的數據無矛盾的程度；
5、 時效性：數據在時間變化中的正確程度；
6、 可訪問性：數據能被訪問的程度。
三、數據質量評測軟件工具及流程
基于數據準確性、一致性、完整性、規范性、時效性和可訪問性等維度選取可量化指標進行評價，通過數據質量評測軟件工具，快速部署配置數據標準和數據質量規則。自動化的手段分析數據內容和結構；識別數據成分、分析業務規則合規情況、分析數據間關系及資源匹配關聯關系；識別數據轉化機制、建立數據有效性及準確性規則、校驗數據之間依賴性等，快速識別人工難以發現的問題，如包含的特殊字符、值后面的空格、數據沖突等，快速找到數據規律并建立標準參數值和標準庫，搭建可重復循環、自動化數據清洗和優化的數據處理平臺，有效節省數據清洗優化時的人工介入時間，提高數據處理效率和數據質量，把好數據資產“質量關”。
企事業單位進行數據資源梳理，初步形成權屬明晰、安全可靠、應用價值高、合規可信的數據資源目錄集，確定數據資源入表范圍及評估目標，展開具體質量評測，主要包括6個環節：
1、測試環境準備
2、測試數據抽樣
3、質量測試
4、成本歸集
5、應用評價
6、評測報告
四、數據質量評測報告及數據管理優化方案
經過數據質量評測及成本、應用、市場等評價工作環節，面向最終使用人員形成涵蓋規范性、完整性、準確性、一致性、時效性等維度的科學、合理和客觀的數據質量評測報告、定制化數據質量診斷服務以及數據質量優化提升建議方案。
1、基于數據質量評測報告，進行數據資源入表、數據資產估值、數據資產融資、數據信貸證券等資本化業務應用。
2、基于優化提升建議方案，優先選擇關鍵數據治理任務時序，建立數據質量檢核、監控和治理長效機制。
3、基于數據質量評測情況，全面優化提升數據管理體系建設，開展數據標準、主數據、元數據、數據質量、數據安全、數據服務等各方面數據治理工作。
4、建立起企業級數據標準化規范體系，數據質量管理平臺，開展DCMM數據認證，全面掌控數據資產狀況、增效降本運營、提升數據質量、促進共享開發、提升風控水平和優化流程管理，全面實現業務數據化、數據資產化。
文章來源于：《數據資產學習》公眾號
掃碼聯系我們 中林廣生 版權所有 2008-2023 渝ICP備18000167號-1
