目錄:
壹、現狀分析:孤獨企業元數據管理
第二,解決方案:為業務釋放元數據價值。
三、技術實踐:普元的企業元數據管理實踐。
壹、現狀分析:孤獨企業元數據管理
元數據管理無法給業務創新帶來直接價值的主要原因是目前的元數據管理過於“孤獨”,主要體現在以下四個方面:
管理範圍窄:目前元數據管理範圍窄主要體現在兩個方面:壹是只管理與數據倉庫相關的元數據,元數據管理沒有擴展到整個企業層面;第二,即使在數據倉庫領域,也只管理部分技術元數據。技術元數據的缺失導致元數據系統無法展現企業系統的真實情況,業務元數據的缺失導致壹堆缺乏具體業務含義的表結構。
業務難以結合:由於缺乏與業務的融合,很多企業在完成元數據管理系統後,發現只有數據管理部門的人在用,其他部門的人根本用不上。所有的系統都要為業務服務,只有壹個部門使用的系統是沒有生命的。如何讓各個部門的人都用上元數據管理系統,是壹件非常重要的事情。
缺乏應用場景:目前元數據的應用場景大多局限於元數據系統的內部功能,如血緣分析、譜系分析、版本管理等。這些功能是企業在信息化中使用的,但實際上元數據的作用並不僅僅體現在這些有限的功能上。
技術不完善:技術不完善導致以上壹系列問題。擴展性不強,導致很多元數據管理工具無法管理企業業務數據和架構;采集能力差導致人工輔助記錄,人力成本高,無法建立完整的信息鏈路;實時性不高,導致很多企業的元數據管理還停留在T+1的階段(甚至不是T+1),無法實時了解數據資產的狀態,跟不上企業數據的增長速度。
第二,解決方案:為業務釋放元數據價值。
為了擺脫以上“孤獨”的現狀,元數據管理可以從四個方面入手:
在技術上增強擴展性,先實現自動采集,增強擴展性。目前大多數元數據產品都符合CWM標準,只能管理與數據倉庫相關的元數據,不支持業務、架構等元數據的集合。基於位於CWM底層的MOF,可以有效解決可擴展性問題。這樣,普元用元數據管理新壹代平臺The Platform中的整個微服務架構,實現服務、數據、運維流程的統壹管理。第二,提高催收能力。元數據管理需要收集各種元數據,包括腳本、存儲過程、報表等。,而且還需要分析各種語法樹,對系統的采集能力要求很高。普元的元數據管理平臺實現了自動化提高系統的采集性能,可以采集多種元數據,采集率幾乎是100%。
提升業務元數據管理能力,使其被業務用戶廣泛使用,充分釋放元數據管理的業務價值的前提是讓業務人員學會使用元數據管理系統,因此如何收集業務元數據就變得非常重要。通過Excel采集業務元數據,需要業務人員填寫各種數據項。即使采集到系統中,也無法建立業務元數據和技術元數據的關聯,無法體現業務數據的技術路徑。為了解決上述問題,自動采集必不可少。此外,通過從文檔中分析業務元數據,然後對應技術元數據,可以讓更多的用戶參與到元數據系統的使用中。
目前,元數據管理系統僅限於使用特定的內部功能。為了充分發揮元數據管理的價值,應該將元數據做成面向服務的系統,嵌入到企業的各種場景中,為其他系統提供能力,讓其他系統更加自動化,讓元數據管理成為企業非常重要的基礎設施,融入到企業信息化的各個方面。
打通數據生產線,形成自助式數據供應。很多企業都遇到過這樣的問題:當開發人員向數據部門索要數據時,數據部門需要逐壹解釋數據的含義,並將數據引導過去。解釋的難度隨著系統的增加而增加。元數據可以幫助企業搭建自助數據生產線,讓開發者從數據平臺輕松獲取所需數據,讓整個行業線更簡單,減少數據部門的工作量,提高業務開發者的滿意度。
三、技術練習:
濮院企業元數據管理實踐
東航:業務數據圖原來的數據圖只有技術人員才能看懂,但業務人員更關心的是業務相關的事情,以及業務數據的分布。因此,普元對東航的整個模型進行了梳理,將這些數據以業務人員能夠理解的方式呈現出來。通過數據資產管理平臺的建設,東航實現了運營數據地圖的呈現。借鑒達美航空的經驗,普元在航空領域模型中分析了近2000個實體,逐壹核對了1249個業務系統表數據,梳理出了包括數據主題領域、數據實體、業務系統的三層數據圖譜:包括航班、票務在內的13個主題領域,並為每個主題領域提供了多達227個業務實體目錄和定義,以及每個業務實體對應的數據庫。
浙江電力:基於業務元數據的業務用戶自助數據查詢。由於業務人員的IT水平有限,無法自行設計報表或自助數據查詢,因此浙江電力每天都要處理大量來自業務人員的需求。普元幫助浙江電力整理了所有的元數據,並與報告行整合。通過對應的業務元數據和技術元數據,業務人員可以查詢業務數據對應的技術通道,從而自行設計報表,大大減少了數據部門的工作量;普元還幫浙江電力做了業務流程的數據圖。業務人員可以直接從數據圖中看到各個流程節點對應的數據。這樣,業務用戶可以自己找到所需的數據。
德邦物流:自動化實時數據資產采集德邦建立了比較完善的數據平臺——通用元數據管理平臺,已經幫助德邦管理了90多個業務系統,優化了整個現有流程,實現了各種環境(數據庫、ETL、服務、報表、GP、存儲過程等)的自動采集。),準確率95%-99%。經過自動采集,德邦從500多份報告中安全剔除了50份與任何系統無關的無用報告,大大降低了報告的維護成本。
對於開發中的測試部署階段,在理想條件下,設計狀態、測試狀態和生產狀態中的元數據是壹致的。通常開發經理需要對設計狀態和生產狀態進行對比,根據對比結果判斷系統是否可以上線。運維人員還需要在系統上線前分析對其他系統的影響。在此之前,所有這些事情都需要手動完成。項目完成後,元數據已經融入到德邦的每壹個開發環節。通過元數據管理系統,可以完整的比較不同狀態之間的元數據差異,並直接給出比較差異報告。開發經理和運維人員可以根據報告判斷系統是否可以上線。