當前位置:法律諮詢服務網 - 企業資訊 - 搭建公司級大數據處理平臺需要做哪些準備?

搭建公司級大數據處理平臺需要做哪些準備?

按照大數據處理的流程,分為數據采集、數據存儲、數據提取、數據挖掘、數據分析、數據呈現和應用。以下是鏈家網的案例,采用Hadoop集群建立BI和報表平臺,采用業務員自助分析和數據挖掘的雙模式業務,數據分析師借用大數據平臺的集群計算能力進行數據挖掘。

此外,更多傳統企業對大數據平臺的應用也是基於上述流程。

舉壹個搭建大數據平臺的案例,是國家級的研究機構。大數據平臺的建立主要是收集市場數據,發布國家研究報告,輔助市場決策。

先說構造和流程,也算是提供了壹個方法論。

第壹步是數據整合,整合多源多類型數據,實現數據共享。目前以sailsoft報表FineReport作為數據處理工具,以SQLServer作為數據庫存儲平臺,整合信息中心的常用業務數據,包括價格、進出口、資產負債表等。

第二步,對數據進行抓取、處理和分析,自動生成壹系列產品報告,達到解放生產力的目的。將業務人員從收集、整理、處理數據的體力勞動中解放出來,集中精力進行深入的市場分析研究和模型建立。本質上還是數據整合。不同之處在於,數據是自動收集的,並基於構建的模型。技術選擇:fine report+fine bi+python+kettle(ETL工具)+SQLServer。

第三步是數據挖掘,目標是建立行業模型和行業計量經濟模型,實現科學決策。

依托壹、二期整合的數據和大數據,打造大數據能力,提供標準化服務能力。而糧油的分析模型和行業積累模型是因素模型和經驗模型,壹定程度上依賴於分析師對市場的看法。這個模型的分析結果需要分析師的經驗和直覺來判斷,技術要到位。因此,通過FineReport和FineBI的結果,從數據報告、數據分析和數據挖掘三個層面將數據轉化為信息,以便業務人員利用這些信息輔助決策。在任何層面,核心目標都是“把數據變成信息”。

  • 上一篇:工作會議紀要
  • 下一篇:公司要註意的企業風水知識?
  • copyright 2024法律諮詢服務網