如何實現成功的資料治理,如何有效的進行資料治理和資料管控?

時間 2022-02-01 18:52:08

1樓:派可資料

從技術實施角度看,資料治理包含「理」「採」「存」「管」「用」這五個步驟,即業務和資料資源梳理、資料採集清洗、資料庫設計和儲存、資料管理、資料使用。

資料資源梳理:資料治理的第一個步驟是從業務的視角釐清組織的資料資源環境和資料資源清單,包含組織機構、業務事項、資訊系統,以及以資料庫、網頁、檔案和 api 介面形式存在的資料項資源,本步驟的輸出物為分門別類的資料資源清單。

資料採集清洗:通過視覺化的 etl 工具將資料從**端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程,目的是將散落和零亂的資料集中儲存起來。

基礎庫主題庫建設:一般情況下,可以將資料分為基礎資料、業務主題資料和分析資料。基礎資料一般指的是核心實體資料,或稱主資料,例如智慧城市中的人口、法人、地理資訊、信用、電子證照等資料。

主題資料一般指的是某個業務主題資料,例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等資料。而分析資料指的是基於業務主題資料綜合分析而得的分析結果資料,例如市場監督管理局的企業綜合評價、產業區域分佈、高危企業分佈等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上,基於易儲存、易管理、易使用的原則抽像資料儲存結構,說白了,就是基於一定的原則設計資料庫表結構,然後再根據資料資源清單設計資料採集清洗流程,將整潔乾淨的資料儲存到資料庫或資料倉儲中。

後設資料管理:後設資料管理是對基礎庫和主題庫中的資料項屬性的管理,同時,將資料項的業務含義與資料項進行了關聯,便於業務人員也能夠理解資料庫中的資料欄位含義,並且,後設資料是後面提到的自動化資料共享、資料交換和商業智慧(bi)的基礎。需要注意的是,後設資料管理一般是對基礎庫和主題庫中(即核心資料資產)的資料項屬性的管理,而資料資源清單是對各類資料**的資料項的管理。

血緣追蹤:資料被業務場景使用時,發現資料錯誤,資料治理團隊需要快速定位資料**,修復資料錯誤。那麼資料治理團隊需要知道業務團隊的資料來自於哪個核心庫,核心庫的資料又來自於哪個資料來源頭。

我們的實踐是在後設資料和資料資源清單之間建立關聯關係,且業務團隊使用的資料項由後設資料組合配置而來,這樣,就建立了資料使用場景與資料來源頭之間的血緣關係。 資料資源目錄:資料資源目錄一般應用於資料共享的場景,例如**部門之間的資料共享,資料資源目錄是基於業務場景和行業規範而建立,同時依託於後設資料和基礎庫主題而實現自動化的資料申請和使用。

質量管理:資料價值的成功發掘必須依託於高質量的資料,唯有準確、完整、一致的資料才有使用價值。因此,需要從多維度來分析資料的質量,例如:

偏移量、非空檢查、值域檢查、規範性檢查、重複性檢查、關聯關係檢查、離群值檢查、波動檢查等等。需要注意的是,優秀的資料質量模型的設計必須依賴於對業務的深刻理解,在技術上也推薦使用大資料相關技術來保障檢測效能和降低對業務系統的效能影響,例如 hadoop,mapreduce,hbase 等。

商業智慧(bi):資料治理的目的是使用,對於一個大型的資料倉儲來說,資料使用的場景和需求是多變的,那麼可以使用 bi 類的產品快速獲取需要的資料,並分析形成報表,像派可資料就屬於專業的bi廠商。

資料共享交換:資料共享包括組織內部和組織之間的資料共享,共享方式也分為庫表、檔案和 api 介面三種共享方式,庫表共享比較直接粗暴,檔案共享方式通過 etl 工具做一個反向的資料交換也就可以實現。我們比較推薦的是 api 介面共享方式,在這種方式下,能夠讓中心資料倉儲保留資料所有權,把資料使用權通過 api 介面的形式進行了轉移。

api 介面共享可以使用 api 閘道器實現,常見的功能是自動化的介面生成、申請稽核、限流、限併發、多使用者隔離、呼叫統計、呼叫審計、黑白名單、呼叫監控、質量監控等等。

2樓:

1.建立統一的資料標準。目前存在各業務部門標準不統一,部門之間資料標準矛盾或者相互混淆的情況,導致部門間資料交換,資料共享比較困難。

建立統一的資料標準有助於對資料進行統一規範的管理,消除各部門間的資料壁壘,方便資料的共享,另外資料標準同樣對業務流程的規範化有幫助作用。

2.提高資料質量。電力資料的採集和傳輸受到採集感測器的精度、穩定性,通訊裝置和環境因素的影響較大,導致存在大量的空值和垃圾資料。

可通過資料質量管理對電力資料進行質量檢查,找出有問題的資料,通過資料清洗,問題整改,例外排查等一系列手段提高資料質量;另外還可以通過出具資料質檢報告,資料質量績效考核來督促各業務部門重視資料質量從而加強人員和業務的管理來提高資料質量。

3.資料資產管理。將經過處理的高質量資料資產統一管理,提供全生命週期的管理和資料安全保障。

並可將資料資產進行分類和編目,方便資料的展示和資料共享,同時也為資料分析和資料探勘(電力需求**、電力系統優化等)打好基礎。

億信睿治是從後設資料、主資料、資料標準、資料質量再到資料處理、資料資產、資料交換和資料安全,能夠為企業提供一站式解決方案,從而打通資料治理全流程。從而完成企業對於資料治理的要求

如何有效的進行資料治理和資料管控?

3樓:匿名使用者

資料治理和資料管控這幾年確實越來越受到各方的重視,它們其實有一定相似性和側重點。資料治理往往需包含整個資料生命週期,從建立到消亡的全過程。因此進行有效的資料治理,主要步驟有:

建立資料治理委員會、制定資料治理的框架、資料治理方案確定、資料治理工具選定、資料治理實施、資料治理維護增強等。目前,市面上對於資料治理已經有了相對成熟的產品和服務商可以去諮詢一下,做的比較好的如ibm、億信華辰等,可以從多個方面進行治理,後設資料、主資料、資料質量、資料標準、資料資產、資料處理、資料交換、資料安全、資料生命週期等。資料管控可能會根據企業實際情況,進行資料質量管控、後設資料管控等某些方面的管控。

而億信華辰的資料治理產品,可以自定義根據企業實際情況對資料進行管控。它智慧糾錯減少資料異常,讓資料清澈如水,可靠的企業級後設資料管家

理清企業資料資產,洞見資料背後的業務含義。

4樓:匿名使用者

揮資料的作用。實現資料有效管理的關鍵是資料組織。隨著計算機技術的發展,資料管理經歷了人工管理、檔案系統、資料庫系統三個發展階...

5樓:誰比誰忐忑

資料管理是利用計算機硬體和軟體技術對資料進行有效的收集、儲存、處理和應用的過程。其目的在於充分有效地發揮資料的作用。實現資料有效管理的關鍵是資料組織。

隨著計算機技術的發展,資料管理經歷了人工管理、檔案系統、資料庫系統三個發展階段。在資料庫系統中所建立的資料結構,更充分地描述了資料間的內在聯絡,便於資料修改、更新與擴充,同時保證了資料的獨立性、可靠性、安全性與完整性,減少了資料冗餘,故提高了資料共享程度及資料管理效率。

6樓:派可資料

從技術實施角度看,主要包含「理」「採」「存」「管」「用」這五個,即業務和資料資源梳理、資料採集清洗、資料庫設計和儲存、資料管理、資料使用。

資料資源梳理:資料治理的第一個步驟是從業務的視角釐清組織的資料資源環境和資料資源清單,包含組織機構、業務事項、資訊系統,以及以資料庫、網頁、檔案和 api 介面形式存在的資料項資源,本步驟的輸出物為分門別類的資料資源清單。

資料採集清洗:通過視覺化的 etl 工具(例如阿里的 datax,pentaho data integration)將資料從**端經過抽取 (extract)、轉換 (transform)、載入 (load) 至目的端的過程,目的是將散落和零亂的資料集中儲存起來。

基礎庫主題庫建設:一般情況下,可以將資料分為基礎資料、業務主題資料和分析資料。基礎資料一般指的是核心實體資料,或稱主資料,例如智慧城市中的人口、法人、地理資訊、信用、電子證照等資料。

主題資料一般指的是某個業務主題資料,例如市場監督管理局的食品監管、質量監督檢查、企業綜合監管等資料。而分析資料指的是基於業務主題資料綜合分析而得的分析結果資料,例如市場監督管理局的企業綜合評價、產業區域分佈、高危企業分佈等。那麼基礎庫和主題庫的建設就是在對業務理解的基礎上,基於易儲存、易管理、易使用的原則抽像資料儲存結構,說白了,就是基於一定的原則設計資料庫表結構,然後再根據資料資源清單設計資料採集清洗流程,將整潔乾淨的資料儲存到資料庫或資料倉儲中。

後設資料管理:後設資料管理是對基礎庫和主題庫中的資料項屬性的管理,同時,將資料項的業務含義與資料項進行了關聯,便於業務人員也能夠理解資料庫中的資料欄位含義,並且,後設資料是後面提到的自動化資料共享、資料交換和商業智慧(bi)的基礎。需要注意的是,後設資料管理一般是對基礎庫和主題庫中(即核心資料資產)的資料項屬性的管理,而資料資源清單是對各類資料**的資料項的管理。

血緣追蹤:資料被業務場景使用時,發現資料錯誤,資料治理團隊需要快速定位資料**,修復資料錯誤。那麼資料治理團隊需要知道業務團隊的資料來自於哪個核心庫,核心庫的資料又來自於哪個資料來源頭。

我們的實踐是在後設資料和資料資源清單之間建立關聯關係,且業務團隊使用的資料項由後設資料組合配置而來,這樣,就建立了資料使用場景與資料來源頭之間的血緣關係。 資料資源目錄:資料資源目錄一般應用於資料共享的場景,例如**部門之間的資料共享,資料資源目錄是基於業務場景和行業規範而建立,同時依託於後設資料和基礎庫主題而實現自動化的資料申請和使用。

質量管理:資料價值的成功發掘必須依託於高質量的資料,唯有準確、完整、一致的資料才有使用價值。因此,需要從多維度來分析資料的質量,例如:

偏移量、非空檢查、值域檢查、規範性檢查、重複性檢查、關聯關係檢查、離群值檢查、波動檢查等等。需要注意的是,優秀的資料質量模型的設計必須依賴於對業務的深刻理解,在技術上也推薦使用大資料相關技術來保障檢測效能和降低對業務系統的效能影響,例如 hadoop,mapreduce,hbase 等。

商業智慧(bi):資料治理的目的是使用,對於一個大型的資料倉儲來說,資料使用的場景和需求是多變的,那麼可以使用 bi 類的產品快速獲取需要的資料,並分析形成報表,像派可資料就屬於專業的bi廠商。

資料共享交換:資料共享包括組織內部和組織之間的資料共享,共享方式也分為庫表、檔案和 api 介面三種共享方式,庫表共享比較直接粗暴,檔案共享方式通過 etl 工具做一個反向的資料交換也就可以實現。我們比較推薦的是 api 介面共享方式,在這種方式下,能夠讓中心資料倉儲保留資料所有權,把資料使用權通過 api 介面的形式進行了轉移。

api 介面共享可以使用 api 閘道器實現,常見的功能是自動化的介面生成、申請稽核、限流、限併發、多使用者隔離、呼叫統計、呼叫審計、黑白名單、呼叫監控、質量監控等等。

自己在家如何進行有效的甲醛治理,如何治理甲醛最有效

一提到新房中的甲醛,許多裝修後的業主們都會比較頭疼,都想著躲開室內甲醛這個糟糕的有害氣體,但是甲醛在新房之中是無處不在的,只要你想住新家,那就躲不開甲醛對身體的侵害,那麼這時就需要一個專業有效的除甲醛方法了!一 創造出有利的室內甲醛釋放環境 很多裝修後的業主們每天光喊著我們如何除甲醛,怎麼進行除甲醛...

如何建立公司有效的治理結構,兩類公司如何建立最有效的治理結構?

在公司的決策機制裡規定公司重大決策由股東大會票決成立,股東大會票決使用一人一票制,這樣有效制約大股東濫用權力,有效維護小股東的合法權益。但這樣的票決要慎用,應當規定由監事會決定召集股東大會行使這樣的職權 兩類公司如何建立最有效的治理結構? 之前在中復大諮詢的官制網上熟悉了一些國有資本投資bai 運營...

資料庫如何實現欄位加密

violet思念 create view v rand as select c unicode cast round rand 255,0 as tinyint go create function f jmstr str varchar 8000 type bit returns varchar ...