為什麽要建設政府大數據？

搭建統壹的大數據平臺\x0d\首先我們來說明壹下為什麽要搭建數據倉庫。其核心目的是將分散在各個政府系統中的原始數據匯總起來。大家要註意的是，這並不是把所有的數據匯總起來，而是需要在多個政府系統中共享的數據，在分析大數據的時候需要用到各種本身相關的數據。這裏的數據資源庫與傳統電子政務建設中提到的數據資源中心有著相同的業務目標。納入大數據平臺後，只會在建設過程中應用分布式存儲、流計算等大數據相關技術，解決對數據的海量性、實時性要求。\x0d\數據資源數據庫的建設本身包括兩個方面，業務重點是數據標準、數據規範和接口、數據模型的建設。這和以往差別不大，唯壹增加的內容是在數據模型的構建中需要更多考慮數據本身的相關性。其次是數據平臺的建設，這與傳統技術有很大不同。壹個是需要應用到大數據相關的技術平臺，比如Hadoop平臺等。在構建數據平臺的過程中，它不是壹個簡單的數據存儲平臺，而是壹個完整的具有數據存儲、數據處理和數據分析能力的平臺。其次，建設大數據平臺的最終目的是希望經過處理和分析的數據能力能夠* * *共享和開發，體現商業價值，所以需要為大數據提供* * *服務能力，即大數據平臺本身也必須是開放的* * *共享的數據能力服務平臺。\x0d\搭建大數據平臺的難點不在於技術而在於業務，涉及數據開放和* * *共享兩個層面。壹個是政府行業內部各部門的數據可以* * *共享，涉及的部門和利益壁壘很難在短時間內解決；其次，大數據平臺經過最終處理和分析後的能力能否進壹步向外部企業和公共服務部門* * * * *共享和開放，這是第二層難度。在這壹點上，國外像美國的政府部門大數據資源和數據目錄的開放程度遠遠好於國內。具體可以看看塗子沛的書《大數據時代》。\x0d\二是加快計算服務能力和應用能力建設。引進公共雲服務領先企業，提供基礎設施即服務(IaaS)、平臺即服務(PaaS)、軟件即服務等優質公共雲服務(SaaS)；引導財政資金支持的信息化項目優先建設統壹雲計算基礎設施，促進政府信息系統和信息資源* * *共享；適應貴州省建設電子政務、智能交通、智能物流、企業管理和智慧城市的需求，開發服務功能強、商業模式新、帶動效應大的行業雲平臺；提供專業的工業雲計算服務，滿足企業R&D、產品設計、生產控制和管理的需求；加快雲計算平臺資源管理軟件、雲安全防護產品和雲模式應用軟件研發，開發重點行業雲計算系統解決方案。\x0d\解讀:計算服務和應用能力建設\x0d\對於這部分內容，基本可以看到常規雲計算平臺和智慧城市的建設內容。很多時候，政府的規劃往往是盲目追求壹個大而全的理想化建設模式，而沒有理解壹個事物的本質。從最早在各地圈地，到搞雲計算中心、產業基地；當智慧城市概念被炒作起來的時候，雲計算、SOA、大數據、物聯網等內容都被涵蓋在智慧城市規劃中。大數據時代，我們看到的規劃效果是，所有的內容似乎都渴望被納入大數據產業規劃，理想化的大而全的建設就會進行。這樣壹來，平臺項目就會在建設過程中夭折。這是每個政府部門在做大數據規劃之前必須考慮的問題，即大數據的本質是什麽？希望通過大數據平臺的建設來解決任何商業問題。這個不清楚，也不適合著手大數據產業的規劃建設。\x0d\所以大數據平臺和雲平臺無關？這不是絕對的。兩者的關系在這裏用最通俗的方式解釋和對應。首先，大數據本身需要存儲，大數據在處理和聚合到數據資源平臺的過程中需要計算，所以需要資源提供計算和存儲能力，並且這種能力可以靈活擴展。這種能力的提供是雲計算平臺的IaaS層完成的內容。其次，大數據的處理涉及數據集成、數據采集與聚合、數據並行處理、數據流處理、數據分析以及數據服務能力的共享與開放。這些能力已經在資源層的上層，也就是平臺層能力，這些平臺層能力可以並入廣義的雲計算PaaS平臺層。\x0d\第三，加快大數據分析利用能力建設。加強大數據分析關鍵算法和基礎技術研發，開發專業化數據處理分析工具，形成大數據基礎技術和產品資源庫；發揮大型企業平臺的引領作用和專業大數據服務企業的創新優勢，加快市場化大數據應用，發展第三方大數據服務，提供有特色的數據服務；支持數據開放、共享和應用服務，探索商業模式創新，推進大數據公共應用；選擇重點行業領域，開展基於雲計算的大數據示範應用，推動專業化大數據挖掘、分析、應用和服務發展，提高大數據產業應用能力。\x0d\解讀:數據分析利用能力建設\x0d\再次強調大數據的核心是提升商業價值和公共服務能力。如果我們建設的大數據平臺和數據資源中心實現了數據聚合和數據模型標準化，如果這些海量數據不能被很好的挖掘和分析，如果數據本身的價值和能力不能通過服務被打通，那麽整個大數據平臺就沒有價值。\x0d\貴州大數據產業戰略中提到的數據開放共享、發展第三方大數據服務、推薦大數據應用、探索新商業模式是重點。這還是壹個商業模式和商業問題，而不是技術問題。只有經過處理和分析的數據可以使用，可以用於決策，可以為公眾提供更高效的公共數據服務才是最大的價值。\x0d\根據大數據本身的海量性、異構性和實時性的特點，可以看出，對於海量異構數據進行數據挖掘和分析是相當困難的，同時還必須滿足大數據分析的實時或準實時要求。這方面涉及到CEP、流處理、MPP、並行計算等技術的使用；壹方面涉及到數據關聯分析模型的建立，兩者缺壹不可。\x0d\搭建大數據平臺有兩種模式。壹種是先搭建數據存儲平臺，再搭建處理平臺，最後搭建數據分析挖掘平臺；壹種是根據業務目標分析是否涉及大數據應用場景，根據應用場景分析涉及哪些相互關聯的數據，然後對數據進行建模，再考慮如何高效、可擴展地存儲、處理和分析這些數據。對於政府部門的大數據，我們甚至建議第二種方式，即不要壹開始就追求大而全，而是有針對性的壹個壹個的打破，快速體現大數據平臺的商業價值。