ETL,Extraction-Transformation-Loading的縮寫,中文名稱為數據抽取、轉換和加載。
壹般隨著業務的發展擴張,產線也越來越多,產生的數據也越來越多,這些數據的收集方式、原始數據格式、數據量、存儲要求、使用場景等方面有很大的差異。
數據抽取是指把ODS源數據抽取到DW中,數據拉取,清洗完之後,就需要展示了。壹般是把清洗好的數據加載到mysql中,然後在各系統中使用,或者使用Tableau直接給相關人員展示。元數據管理系統對於數據倉庫來說是必須的,並且相關人員必須定時維護,如果元數據和數據倉庫中的變動不同步,那麽元數據系統就形同虛設。
擴展資料
ETL所描述的過程,壹般常見的作法包含ETL或是ELT,並且混合使用。通常愈大量的數據、復雜的轉換邏輯、目的端為較強運算能力的數據庫,愈偏向使用ELT,以便運用目的端數據庫的平行處理能力。目的是將企業中的分散、零亂、標準不統壹的數據整合到壹起,為企業的決策提供分析依據, 是商業智能項目重要的壹個環節。
參考資料: