此外,更多傳統企業對大數據平臺的應用也是基於上述流程。
舉壹個搭建大數據平臺的案例,是國家級的研究機構。大數據平臺的建立主要是收集市場數據,發布國家研究報告,輔助市場決策。
先說構造和流程,也算是提供了壹個方法論。
第壹步是數據整合,整合多源多類型數據,實現數據共享。目前以sailsoft報表FineReport作為數據處理工具,以SQLServer作為數據庫存儲平臺,整合信息中心的常用業務數據,包括價格、進出口、資產負債表等。
第二步,對數據進行抓取、處理和分析,自動生成壹系列產品報告,達到解放生產力的目的。將業務人員從收集、整理、處理數據的體力勞動中解放出來,集中精力進行深入的市場分析研究和模型建立。本質上還是數據整合。不同之處在於,數據是自動收集的,並基於構建的模型。技術選擇:fine report+fine bi+python+kettle(ETL工具)+SQLServer。
第三步是數據挖掘,目標是建立行業模型和行業計量經濟模型,實現科學決策。
依托壹、二期整合的數據和大數據,打造大數據能力,提供標準化服務能力。而糧油的分析模型和行業積累模型是因素模型和經驗模型,壹定程度上依賴於分析師對市場的看法。這個模型的分析結果需要分析師的經驗和直覺來判斷,技術要到位。因此,通過FineReport和FineBI的結果,從數據報告、數據分析和數據挖掘三個層面將數據轉化為信息,以便業務人員利用這些信息輔助決策。在任何層面,核心目標都是“把數據變成信息”。