第壹步，搞清楚什麽是大數據。它不是簡單的海量數據或海量數據，而是具有4V特征的數據金礦。他將給我們的企業帶來機遇和挑戰。
第二步，根據大數據的特點，分析企業大數據平臺應該具備哪些能力來應對大數據的挑戰。
第三部分，基於大數據平臺的需求，提出了企業大數據的技術解決方案，並介紹了該方案如何解決大數據問題。
最後，我來看看大數據應用目前存在的問題，以及未來會如何發展。
什麽是大數據？
從數據上看，大數據不是簡單的大而多。大數據呼之欲出，耳濡目染，卻具有4V的特性。簡單來說就是體積大，款式多，速度快，價值低。
大數據量:最新研究報告顯示，到2020年，全球數據使用量預計將增長44倍，達到35.2ZB，當我們談到大數據時，壹般企業數據量必須達到PB級別才能稱為大數據。
樣式多:大數據除了量大之外，還包括結構化數據和非結構化數據，電子郵件、Word、圖片、音頻信息、視頻信息等多種類型的數據，不再是以前的關系型數據庫所能解決的。
速度:這裏說的是數據收集的速度。隨著電子商務、移動辦公、可穿戴設備、物聯網、智慧社區等的發展，數據生成的速度已經進化到秒級。企業要求實時數據采集和實時決策。
低價值:指的是價值密度，整個數據的價值越來越高，但是因為數據量的增長，數據的價值密度也相應降低，沒有價值的數據會占據大部分，所以企業需要從海量業務中尋找價值。
從開發者的角度來看，大數據不同於以往的數據庫技術和數據倉庫技術。它代表了以Hadoop和Spark為首的壹系列新技術。
這種技術的顯著特點是:分布式和內存計算。
分布式:簡單來說，分布式就是把復雜耗時的任務拆分成多個小任務，並行處理。這裏的任務包括數據收集、數據存儲和數據處理。
內存計算:本質上是CPU直接從內存而不是硬盤中讀取數據，對數據進行計算和分析。內存計算非常適合處理海量數據和需要實時結果的數據。比如壹個企業近十年的財務、營銷、市場等數據幾乎都可以壹次性存儲在內存中，並在此基礎上進行數據分析。
數據挖掘:其實大數據的核心也應該包括數據挖掘技術，這與統計學密切相關。大致可以分為四類:分類、聚類、預測、關聯。它可以用數學的方法從大量不完整的、模糊的數據中提取潛在的規律或知識。
大數據平臺要求
大數據的能力分為五個方面:數據采集、數據存儲、數據計算或處理、數據挖掘和數據呈現。
數據收集:需要收集海量數據和實時數據的能力，這是數據利用的第壹步。
數據存儲:對應大數據的特點，需要大容量、高容錯、高效率的存儲能力，這是數據利用的基礎。
數據計算:需要強大、廉價、快速的數據處理和貨物計算能力。強數據對應的是量大類型多的大數據，廉價數據的低價值密度對應的是大數據，速度快對應的是大數據，這是大數據發展的關鍵。
數據挖掘:能夠從各個角度、各個方向分析和挖掘數據價值，運用好數據挖掘，將數據轉化為價值，是數據利用的核心。
數據呈現:多渠道、直觀、豐富的數據呈現形式是數據的外在形象，是數據應用的亮點，是能夠被用戶認知的窗口。
以上是大數據平臺需要解決的問題，必須具備的能力，數據需求。
技術解決方案
企業大數據解決方案從數據處理流程上分為數據采集層、數據存儲層、數據計算層、數據挖掘層和數據表示層，每壹層解決大數據所需的關鍵問題。黃色部分是傳統的數據處理技術。
數據采集層:
數據采集技術分為實時采集和定時采集。實時采集采用Oracle GoldenGate等工具實時增量采集數據，保證數據的時效性。定時采集采用SAP數據服務結合其他工具定時提取數據，主要用於大量非實時數據。添加kettle、sqoop等分布式ETL工具，豐富多樣化的數據抽取服務，添加kafka服務，整合實時數據，處理大量實時數據。
數據存儲層:
數據存儲區在傳統oracle的基礎上，增加了分布式文件系統、分布式列數據庫、內存文件系統、內存數據庫、全文搜索等模塊。其中，分布式文件系統ceph由於其均衡的數據分布和高度的並行性，被用於存儲非結構化數據。分布式文件系統Hdfs因其良好的擴展性和兼容性而被用於存儲其他結構化數據。列存儲數據庫hbase主要用於存儲對操作和查詢服務有特定要求的海量數據。
數據計算層:
計算層采用標準SQL查詢、全文搜索、交互分析Spark、實時數據處理流、離線批處理、Graph X等技術，對結構化數據、非結構化數據、實時數據和海量數據進行計算和處理。
spark內存計算引擎的優勢，核心計算模式；
輕量級快速處理。
簡單易用，Spark支持多種語言。
支持復雜查詢。
實時流處理。
可以與Hadoop和現有Hadoop數據集成。
可以和Hive融合？
數據挖掘層:使用Spark_Mllib、R、Mhout等分析工具，根據模型分析引擎創建模型和算法庫。模型由模型算法庫訓練，生成模型實例。最後，根據模型實例進行實時和離線決策。
數據展現層:提供門戶展現、數據圖表、電子郵件、辦公軟件等數據分析方式，在展現方式上可以支持大屏幕、電腦桌面、移動終端等。
結束語
隨著高性能計算機和海量數據存儲管理流程的不斷優化，技術能解決的問題最終不會成為問題。有三個環節會真正制約或成為大數據發展應用的瓶頸:
第壹，數據采集和提取的合法性，數據隱私保護和數據隱私應用的權衡。
任何企事業單位從人群中提取隱私數據時，用戶都有知情權，使用其隱私數據進行商業活動時，需要得到用戶的同意。然而，目前中國乃至全球範圍內，如何保護用戶隱私、如何制定業務規則、如何懲罰侵犯用戶隱私者、如何制定法律規範等壹系列管理問題都滯後於大數據的發展速度。未來很多大數據業務會在發展初期徘徊在灰色地帶。當商業運作開始成型，開始對大量消費者和公司產生影響時，相關法律法規和市場規範將被迫加速制定。可以預期的是，雖然大數據技術的應用可以無限廣闊，但由於數據采集的局限性，能夠用於商業應用、服務於人的數據，遠遠少於理論上大數據能夠采集和處理的數據。數據源收集有限會* *限制大數據的商業應用。
第二，大數據的協同需要產業鏈各環節的企業在競爭與合作之間達到平衡。
大數據基於其生態系統對企業提出了更多的合作要求。如果沒有對整個產業鏈的宏觀把握，單個企業無法基於自己獨立的數據了解產業鏈各環節數據之間的關系，對消費者的判斷和影響也非常有限。在壹些信息不對稱明顯的行業，如銀行、保險等，企業間數據共享的需求更加迫切。比如銀行、保險行業，通常需要建立壹個行業專用的數據庫，讓其會員了解個人用戶的信用記錄，消除擔保人與消費者之間的信息不對稱，使交易順利進行。然而，在很多情況下，這些需要享受信息的企業之間競爭與合作的關系同時存在。企業在享受數據之前，需要權衡利弊，避免在享受數據的同時失去競爭優勢。另外，很多商家合作時，容易形成賣家聯盟，會導致消費者利益受損，影響競爭的公平性。大數據最有想象力的發展方向是整合不同行業的數據，提供全方位的三維數據繪制，試圖從系統的角度去理解和重塑用戶需求。但是跨行業數據的共享需要平衡太多企業的利益。如果沒有壹個中立的第三方機構來協調所有參與企業之間的關系，為數據的* * * *制定規則，大數據的使用將會受到限制。缺乏權威的第三方中立機構，會制約大數據發揮最大潛力。
第三，大數據結論的解讀和應用。
大數據可以從數據分析的層面揭示變量之間可能的相關性，但是數據層面上的相關性如何在行業實踐中體現呢？如何得出在可執行的方案中應用大數據的結論？這些問題要求高管不僅要能夠解讀大數據，還要了解行業發展的各種要素之間的關系。這個環節是基於大數據技術的發展，但也涉及到管理、執行等各種因素。在這個環節中，人的因素成為成功的關鍵。從技術角度，高管需要了解大數據技術，能夠解讀大數據分析的結論；從行業的角度，執行者要很好的了解行業內各個生產環節的流程之間的關系，以及各種因素之間可能存在的關聯，將大數據得出的結論與行業的具體執行環節對應起來；從管理的角度來看，執行者需要針對問題制定出壹個可執行的解決方案，並確保這個解決方案與管理流程沒有沖突，在解決問題的同時不產生新的問題。這些要求不僅要求執行者精通技術，還應該是壹個具有系統思維的優秀管理者，能夠從復雜系統的角度看待大數據與產業的關系。這類人才的稀缺會制約大數據的發展。