大數據挑戰和機遇並存。未來幾年大數據的發展將從前幾年的預期擴張階段和炒作階段轉向理性發展階段和落地應用階段。未來幾年大數據將逐漸進入理性發展期。大數據未來的發展還有很多挑戰，但是前景還是很樂觀的。？
大數據發展的挑戰
目前，大數據發展仍面臨諸多挑戰，包括七大挑戰:業務部門對大數據沒有明確需求，導致數據資產逐漸流失；企業內部數據孤島嚴重，導致數據價值挖掘不足；數據可用性低，數據質量差，使數據無法使用；數據相關管理技術和架構落後，導致大數據處理能力不足；數據安全能力和防範意識差，導致數據泄露；大數據人才缺乏，大數據工作難以開展；大數據越開放，越有價值。而大數據相關政策法規的缺失，使得數據開放和隱私難以平衡，也難以更好的開放。
挑戰1:業務部門沒有明確的大數據需求。
很多企業業務部門不懂大數據，不了解大數據的應用場景和價值，所以很難提出大數據的精準需求。由於業務部門需求不明確，而大數據部門是非盈利部門，企業決策者擔心成本相對較高，導致很多企業在建設大數據部門時猶豫不決，或者很多企業處於觀望狀態，從根本上影響了企業向大數據方向發展，也阻礙了企業對自身數據資產的積累和挖掘。甚至因為數據沒有應用場景，很多有價值的歷史數據被刪除，造成企業數據資產的流失。因此，需要大數據從業者和專家共同努力，推廣和分享大數據應用場景，讓更多的商業人士了解大數據的價值。
挑戰2:企業內部嚴重的數據孤島
企業啟動大數據最大的挑戰是數據的碎片化。在很多企業，尤其是大型企業，數據往往分散在不同的部門，這些數據存在於不同的數據倉庫中，不同部門的數據技術可能不壹樣，導致無法打通自己的數據。如果不打通這些數據，大數據的價值是很難挖掘的。大數據需要不同數據的關聯和整合，才能發揮了解客戶和業務的優勢。如何打通不同部門的數據，實現技術和工具的共享，才能更好的發揮企業大數據的價值。
挑戰3:數據可用性低，數據質量差。
很多中大型企業也是每時每刻都在產生大量的數據，但是很多企業對大數據的預處理階段重視不夠，導致數據處理不規範。在大數據的預處理階段，需要提取數據，將數據轉換成便於處理的數據類型，並對數據進行清洗去噪，提取有效數據。甚至很多企業在上報數據時存在很多不規範、不合理的情況。以上原因導致可用性差，數據質量差，企業數據不準確。大數據的意義不僅在於收集大規模的數據信息，還在於對收集到的數據做好預處理，讓數據分析師和數據挖掘者從高可用性的大數據中提取有價值的信息。Sybase數據顯示，高質量數據的應用可以顯著提升企業的業務績效，數據可用性可以提升10%，企業的業績至少可以提升10%。
挑戰4:與數據相關的管理技術和架構
技術架構的挑戰包括以下幾個方面:(1)傳統數據庫部署無法處理TB級數據，快速增長的數據超出了傳統數據庫的管理能力。如何構建壹個分布式數據倉庫，輕松擴展大量服務器，成為很多傳統企業面臨的挑戰。(2)很多企業采用傳統的數據庫技術，在設計之初沒有考慮數據類別的多樣性，尤其是結構化數據、半結構化數據和非結構化數據的兼容性；(3)傳統企業的數據庫對數據處理時間要求不高，這些數據的統計結果往往滯後壹兩天才被統計出來。但是大數據需要實時處理數據，進行分鐘級甚至秒級的計算。傳統的數據庫架構師缺乏實時數據處理能力；(4)海量數據需要良好的網絡架構和強大的數據中心來支撐，數據中心的運維也將成為挑戰。如何在保證數據穩定、支持高並發的同時，降低服務器的低負載，成為海量數據中心運維的關鍵工作。
挑戰5:數據安全
網絡生活讓犯罪分子更容易獲取人的信息，不容易被跟蹤和防範的犯罪手段也更多，可能會有更巧妙的騙局。如何保證用戶的信息安全，已經成為大數據時代非常重要的問題。網上數據越來越多，黑客犯罪的動機比以往任何時候都強烈。壹些知名網站密碼泄露、系統漏洞導致用戶數據被盜等個人敏感信息的泄露，警醒我們加強大數據網絡安全建設。此外，隨著大數據的增多，對數據存儲的物理安全要求會越來越高，這也對數據的多副本和容災機制提出了更高的要求。目前很多傳統企業的數據安全堪憂。
挑戰六:缺乏大數據人才
大數據建設的每壹個環節都需要專業人員來完成。因此，需要培養和造就壹支具有大數據技術、管理和大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的缺乏會阻礙大數據市場的發展。根據Gartner的預測，到2015年，全球將創造440萬個與大數據相關的工作崗位，25%的組織將設立首席數據官職位。大數據相關的崗位需要能夠綜合駕馭數學、統計學、數據分析、機器學習、自然語言處理的復合型人才。未來大數據將出現約654.38+0萬的人才缺口，大數據中高端人才將成為各行業最熱門的人才，涵蓋數據開發工程師、大數據分析師、數據架構師、大數據後臺開發工程師、算法工程師等多個方向。所以需要高校和企業共同努力培養和挖掘。目前最大的問題是很多高校缺乏大數據，有大數據的企業要和學校聯合培養人才。
挑戰7:數據公開和隱私之間的權衡
在大數據應用越來越重要的今天，數據資源的開放和共享已經成為在數據戰爭中保持優勢的關鍵。商業數據和個人數據的應用不僅可以促進相關行業的發展，也給我們的生活帶來了極大的便利。由於政府、企業、行業信息系統建設缺乏統壹規劃和標準，形成了許多“信息孤島”，且受行政壟斷和商業利益的限制，數據開放程度低，對數據利用造成了很大障礙。制約我國數據資源開放和共享的另壹個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。保證* * *享受和防止濫用是不可能的。因此，建立良性的數據共享生態系統是中國國家數據發展的壹大進步。同時，如何平衡開放和隱私也是大數據開放過程中最大的問題。如何在促進數據充分開放、應用和享用的同時，有效保護公民和企業的隱私，並逐步加強隱私立法，將是大數據時代的壹大挑戰。
大數據的發展趨勢
雖然大數據還處於起步階段，挑戰也很多，但是未來的發展還是很樂觀的。大數據的發展呈現八大趨勢:數據資源將成為最有價值的資產；大數據在更多傳統行業的企業管理中落地；隨著大數據與傳統商業智能的融合，行業定制化解決方案將會出現；數據會越來越開放，數據共享聯盟出現；大數據安全越來越受重視，大數據安全市場會越來越重要；大數據推動智慧城市發展，是智慧城市的引擎；大數據會催生壹批新的工作崗位和相應的專業；大數據正在許多方面改善我們的生活。
趨勢1:數據資源將成為最有價值的資產。
隨著大數據應用的發展，大數據的價值才能得到充分體現。大數據已經成為企業和社會層面的重要戰略資源。數據成為新的戰略制高點，成為大家搶奪的新焦點。在壹份題為“大數據，大影響”的報告中，華爾街日報宣稱數據已經成為壹種新的資產類別，就像金錢或黃金壹樣。谷歌、臉書、亞馬遜、騰訊、百度、阿裏巴巴和360等公司正在利用大數據取得更大的商業成功，金融和電信公司也在利用大數據提升競爭力。我們有理由相信，大數據將繼續成為機構和企業的資產，成為提升競爭力的有力武器。
趨勢二:大數據在更傳統的行業被管理。
壹項新技術往往在少數行業應用並取得良好效果，對其他行業有很強的示範作用。目前，大數據已經在大型互聯網公司得到了很好的應用，其他行業尤其是電信、金融的大數據也逐漸在各種應用場景下取得成效。因此，我們有理由相信，大數據作為壹種從數據中創造新價值的工具，將在很多行業的企業中得到應用，並帶來廣泛的社會價值。大數據將幫助企業更好地了解和滿足客戶需求和潛在需求，更好地應用於業務運營的智能監控、企業精細化運營、客戶生命周期管理、精細化營銷、業務分析和戰略分析。企業管理既有藝術又有科學。相信大數據對企業的科學管理有更顯著的促進作用，讓更多擁抱大數據的企業實現智慧企業管理。
趨勢三:大數據與傳統商業智能融合，行業定制化解決方案將出現。
傳統商業智能領域的人將大數據視為新的數據源，而大數據從業者則認為傳統商業智能只是在處理其領域內少量數據時的壹種方法。大數據用戶希望得到壹個整體的解決方案，即不僅要收集、處理和分析企業內部的業務數據，還要引入互聯網上的網頁瀏覽、微博、微信等非結構化數據。另外，我們希望結合移動設備的位置信息，讓企業形成壹個全面完整的數據價值開發平臺。畢竟無論是大數據還是商業智能，目的都是為分析服務的，數據的全面整合更有利於發現新的商機。這就是大數據商業智能。同時，由於行業的差異，很難開發出壹套適合各行業的大數據商業智能分析系統。因此，在壹些大規模的行業市場，大數據服務商會為大數據服務提供更加定制化的商業智能解決方案。我們相信，電信、金融、零售等行業將會出現更多的大數據商業智能定制解決方案。
趨勢四:數據會越來越開放，數據共享聯盟會出現。
越相關的大數據越有價值，越開放。特別是公共企業和互聯網公司的開放數據會越來越多。我們可以看到，美國、英國、澳大利亞等國家的政府都在政府和公共事業的數據上下了功夫。而國內壹些城市和部門也在逐步開放數據。如北京市於2012開始政府數據資源網試運行，2013年底正式開通；上海於2012啟動政府數據資源開放試點，數據涉及地理位置、交通、經濟統計、資質等。2014年，貴州省也加入了數據開放，10年，貴州正式上雲。對於不同的行業，妳享受的數據越多，它就越有價值。如果每個醫院都想獲得更多的疾病特征和療效信息，就需要享受全國乃至全球的醫療信息，這樣才能通過平臺進行分析，獲得更多的價值。我們相信數據會呈現共享的趨勢，不同領域的數據聯盟會出現。
趨勢五:大數據安全越來越受重視，大數據安全市場會越來越重要。
隨著數據的價值越來越重要，大數據的安全性和穩定性也會逐漸被重視。網絡和數字生活也讓犯罪分子更容易獲取他人信息，有了更多的伎倆和犯罪手段。因此，在大數據時代，無論是對於數據本身的保護，還是對於由數據演化而來的壹些信息的安全性，對大數據分析要求較高的企業都將至關重要。大數據安全對應的是大數據業務。與傳統安全相比，大數據安全最大的不同在於，安全廠商在思考安全問題時，首先要對業務進行分析，找出大數據業務面臨的威脅，然後提出針對性的解決方案。比如對於數據存儲場景，目前很多企業使用Hadoop技術等開源軟件來解決大數據問題。由於其開源性，其安全問題也很突出。因此，市場需要更專業的安全廠商，針對不同的大數據安全問題提供專業服務。
趨勢六:大數據推動智慧城市發展，是智慧城市的引擎。
隨著大數據的發展，大數據將在智慧城市中發揮越來越重要的作用。由於人口聚集給城市在交通、醫療、建築等方面帶來的壓力，需要城市更加合理地安排和分配資源，智慧城市是治理轉型城市的最佳解決方案。智慧城市就是通過物與物、物與人之間的互聯能力、綜合感知能力和信息利用能力，通過物聯網、移動互聯網、雲計算等新壹代信息技術，實現高效的政府管理、便捷的民生服務和可持續的產業發展。與之前的數字城市概念相比，智慧城市最大的區別在於對感知層獲取的信息進行智能化處理。從城市數字化到城市智能化，關鍵是實現數字信息的智能處理，其核心是大數據處理技術的引入。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城市管理，都是基於大數據的智慧城市應用領域。
趨勢七:大數據將催生壹批新的工作崗位和相應的專業。
壹個新行業的出現必然會有新的崗位需求，大數據的出現也會創造出壹批新的崗位，比如大數據分析師、數據管理專家、大數據算法工程師、數據產品經理等等。有經驗的數據分析師將成為稀缺資源，數據驅動的工作將呈現爆發式增長。由於市場需求旺盛，高校會逐步開設大數據相關專業，培養相應的專業人才。企業也會和高校緊密合作，幫助他們共同培養大數據人才。例如，2014年，IBM全面推進與高校在大數據領域的合作，引入強大的R&D團隊和業務合作夥伴，推進面向行業的產學研“大數據平臺”和“大數據分析”創新合作，構建系統的知識體系和培養高價值人才，建設符合中國教學特點和人才需求的大數據相關學分課程，為未來特色專業建設做準備。
趨勢8:大數據正在多方面改善我們的生活。
大數據不僅用在企業和政府中，也用在我們的生活中。在健康方面:我們可以使用智能手環監測追蹤我們的睡眠模式，了解睡眠質量；我們可以使用智能血壓計、智能心率儀，遠程監控家中老人的異地健康狀況，讓遠在外地的農民工更安心；出行方面，可以利用智能導航的GPS數據了解交通情況，根據擁堵情況實時調整路線。家居生活方面，大數據將成為智能家居的核心，智能家電將實現擬人智能。產品可以通過傳感器和控制芯片捕捉和處理信息，並可以根據居住空間環境和用戶需求自動設置控制，甚至提出優化生活質量的建議。例如，我們的冰箱會在每天清晨提示我們當天的食譜。
以上是邊肖為您分享的大數據時代的七大挑戰和八大趨勢。更多信息可以關註全球常春藤分享更多幹貨。