大數據時代的具體發展歷程如下:
Hadoop項目誕生於2005年。Hadoop最初是雅虎用來解決網頁搜索問題的項目，後來被Apache Software Foundation引入，因為效率高而成為開源應用。
Hadoop本身不是壹個產品，而是由多個軟件產品組成的生態系統，* * *實現全面的功能和靈活的大數據分析。從技術上來說，Hadoop由兩個關鍵服務組成:使用Hadoop分布式文件系統(HDFS)的可靠數據存儲服務和使用MapReduce技術的高性能並行數據處理服務。這兩個服務的共同目標是為實現結構化和復雜數據的快速可靠分析提供基礎。
2008年底，“大數據”得到了美國壹些知名計算機科學研究者的認可。業界組織了計算社區聯盟(Computing Community Consortium)，並發布了頗具影響力的白皮書《大數據計算:在商業、科學和社會領域創造革命性突破》。它讓人們的思維不局限於數據處理機器，提出大數據真正重要的是新用途和新見解，而不是數據本身。這個機構可以說是最早提出大數據概念的機構。
2009年，印度政府建立了壹個用於身份管理的生物識別數據庫，聯合國全球脈搏項目(Global Pulse Project)已經研究了如何利用手機和社交網站的數據源來分析和預測從螺旋價格到疾病爆發等問題。同年，美國政府通過推出http://Data.gov網站進壹步打開了數據之門，該網站向公眾提供各種政府數據。該網站上超過44500個數據集用於確保壹些網站和智能手機應用程序可以跟蹤從航班到產品召回到特定地區失業率的信息。這壹行動激勵了從肯尼亞到英國的各國政府紛紛推出類似舉措。
2009年，歐洲壹些領先的研究圖書館和科學信息研究機構建立了夥伴關系，以提高在互聯網上獲取科學數據的便利性。
2010二月，肯尼斯？Cooker在《經濟學人》上發表了14頁的大數據報告《數據，無處不在的數據》。庫克在報告中提到:“世界上存在著難以想象的數字信息量，並且正在以極快的速度增長。從經濟界到科學界，從政府部門到藝術領域，很多方面都已經感受到了這種巨量信息的影響。科學家和計算機工程師為這種現象創造了壹個新詞:“大數據”。Cooker也因此成為最早看到大數據時代趨勢的數據科學家之壹。
2011年2月，IBM的沃森超級計算機每秒可以掃描分析4TB(約2億頁)的數據，在美國著名問答電視節目《Jeopardy》中擊敗兩名人類選手獲得冠軍。後來《紐約時報》將這壹刻視為“大數據計算的勝利”。同年5月，麥肯錫& amp；Company)肯西全球研究院(MGI)發布報告——《大數據:創新、競爭和生產力的下壹個新領域》，大數據開始備受關註。這也是專業機構首次對大數據進行全方位的介紹和展望。報告指出，大數據已經滲透到當今每個行業和商業功能領域，成為重要的生產要素。人們對海量數據的挖掘和應用，預示著新壹波生產力增長和消費者剩余的到來。報告還提到，“大數據”源於數據生產和收集的能力和速度的巨大提高——隨著越來越多的人、設備和傳感器通過數字網絡連接起來，數據的生成、傳輸、共享和訪問能力也被徹底改變。
20111在工信部發布的物聯網“十二五”規劃中，信息處理技術被作為四大重點技術創新工程之壹提出，包括海量數據存儲、數據挖掘和圖像視頻智能分析，這些都是大數據的重要組成部分。
2012 12在瑞士達沃斯舉行的世界經濟論壇上，大數據是主題之壹。會上發布的《大數據，大影響》報告宣稱，數據已經成為壹種新的經濟資產類別，就像貨幣或黃金壹樣。
2012年3月，美國奧巴馬政府在白宮網站上發布了《大數據研究與發展倡議》，這標誌著大數據已經成為時代的重要特征。2012年3月22日，奧巴馬政府宣布在大數據領域投資2億美元，這是大數據技術從商業行為上升為國家科技戰略的分水嶺。在第二天的電話會議中，政府將數據定義為“未來的新石油”，大數據技術領域的競爭關乎國家安全和未來。他還表示，國家層面的競爭力會部分體現在壹個國家所擁有的數據的規模、活躍度、解讀和應用能力上；國家數字主權體現了對數據的占有和控制。數字主權將是繼邊防、海防、空防之後又壹個大國的博弈空間。
2012年4月，美國軟件公司Splunk於19年6月在納斯達克成功上市，成為首家上市的大數據處理公司。鑒於美國經濟持續低迷，股市持續震蕩的背景，Splunk首日出色的交易表現尤為可觀，首日漲幅超過壹倍。Splunk是壹家領先的軟件提供商，提供大數據監控和分析服務，成立於2003年。Splunk的成功上市，促進了資本市場對大數據的關註，也促使IT廠商加速大數據布局。2012年7月，聯合國在紐約發布大數據政務白皮書，總結了各國政府如何利用大數據更好地服務和保護人民。這份白皮書闡述了個人、公共和私營部門在數據生態系統中的角色、動機和需求:例如，個人通過對價格關註和更好服務的渴望，提供數據和眾包信息，並要求隱私和退出權；為了改善服務和提高福利，公共部門提供統計數據、設備信息、健康指標、稅收和消費信息等。，並要求隱私權和提款權；私營部門出於提高客戶意識和預測趨勢的目的，提供匯總數據、消費和使用信息，並更加關註敏感數據的所有權和商業模式。白皮書還指出，人們現在可以利用大量的數據資源，包括舊數據和新數據，對社會人口進行前所未有的實時分析。聯合國還將愛爾蘭和美國社交網絡活動的增長列為失業率上升的早期跡象，表明如果政府能夠合理分析其擁有的數據資源，將能夠“與數字保持同步”，並迅速做出反應。今年7月，為挖掘大數據價值，阿裏巴巴集團在管理層設立“首席數據官”職位，負責全面推進“數據共享平臺”戰略，並推出大型數據共享平臺——“聚石塔”，為天貓、淘寶平臺上的電商、電商服務商提供數據雲服務。隨後，阿裏巴巴董事局主席馬雲在2012網商大會上發表演講稱，從2013 1開始，將對平臺、金融、數據三大業務進行轉型和重塑。馬雲強調:“如果我們有壹個數據預測平臺，就像給企業裝了壹個GPS和雷達，妳會更有把握出海。”因此，阿裏巴巴集團希望通過共享和挖掘海量數據，為國家和中小企業提供價值。此舉是國內企業將大數據上升到企業管理高度的第壹個重大裏程碑。阿裏巴巴也是第壹個通過數據提出企業數據化運營的企業。
2014年4月，世界經濟論壇發布了主題為“大數據的回報與風險”的《全球信息技術報告》(13版)。根據該報告，各種信息和通信技術的政策在未來幾年將變得更加重要。下面，我們將積極討論數據保密和網絡控制等問題。隨著全球大數據產業日益活躍，技術演進和應用創新加速發展，各國政府逐漸意識到大數據在促進經濟發展、改善公共服務、增進人民福祉乃至維護國家安全方面的重大意義。5月，白宮發布了2014年全球“大數據”白皮書的研究報告《大數據:抓住機遇，保護價值觀》。報告鼓勵利用數據推動社會進步，尤其是在市場和現有制度不支持這種進步的其他方面；同時，需要相應的框架、結構和研究來幫助保護美國人保護個人隱私、確保公平或防止歧視的堅定信念。2014年，“大數據”首次出現在當年的政府工作報告中。報告指出，要為新興產業搭建創新平臺，在大數據等方面趕超先進，引領未來產業發展。“大數據”立刻成為中國的熱詞。
2015年，國務院正式印發《促進大數據發展行動方案》。《方案》明確提出，推進大數據發展應用，打造未來5年至10年精準治理、多方合作的社會治理新模式，建立經濟平穩安全高效運行新機制，構建以人為本的民生服務新體系，開放創新大眾創業、萬眾創新。標誌著大數據在這壹國家戰略中正式崛起。
2016年，大數據“十三五”規劃將出臺，規劃已經過專家咨詢，密集討論修改。規劃涉及的內容包括推動大數據在工業R&D、制造業、產業鏈各環節的應用；支持服務業利用大數據打造品牌、精準營銷和定制服務。
大數據技術:
1.Hadoop
Hadoop誕生於2005年。它最初是雅虎用來解決網絡搜索問題的壹個項目。後來由於效率高，被Apache軟件基金會引入，成為開源應用。Hadoop本身不是壹個產品，而是由多個軟件產品組成的生態系統，* * *實現全面的功能和靈活的大數據分析。從技術上來說，Hadoop由兩個關鍵服務組成:使用Hadoop分布式文件系統(HDFS)的可靠數據存儲服務和使用MapReduce技術的高性能並行數據處理服務。
2.儲備
Hive是壹個基於Hadoop文件系統的數據倉庫架構，可以分析和管理存儲在HDFS的數據。它最初是為了滿足臉書每天產生的大量新興社交網絡數據的管理和機器學習需求而產生和開發的。後來，其他公司開始使用和開發Apache Hive，如網飛和亞馬遜。
3.風暴:
Storm是壹個分布式計算框架，主要用Clojure編程語言編寫。這家營銷情報企業最初由Nathan Marz及其團隊在BackType創立，2011年被Twitter收購。之後，Twitter將該項目開源，推至GitHub平臺。最後，Storm加入了Apache孵化器計劃，並於2014年9月正式成為Apache的頂級項目之壹。