當前位置:法律諮詢服務網 - 企業資訊 - 繼續教育大數據的分析和挖掘面臨的主要挑戰是什麽?

繼續教育大數據的分析和挖掘面臨的主要挑戰是什麽?

大數據發展的挑戰:

目前,大數據發展仍面臨諸多挑戰,包括七大挑戰:業務部門對大數據沒有明確需求,導致數據資產逐漸流失;企業內部數據孤島嚴重,導致數據價值挖掘不足;數據可用性低,數據質量差,使數據無法使用;數據相關管理技術和架構落後,導致大數據處理能力不足;數據安全能力和防範意識差,導致數據泄露;大數據人才缺乏,大數據工作難以開展;大數據越開放,越有價值。而大數據相關政策法規的缺失,使得數據開放和隱私難以平衡,也難以更好的開放。

挑戰1:業務部門沒有明確的大數據需求。

很多企業業務部門不懂大數據,不了解大數據的應用場景和價值,所以很難提出大數據的精準需求。由於業務部門需求不明確,而大數據部門是非盈利部門,企業決策者擔心成本相對較高,導致很多企業在建設大數據部門時猶豫不決,或者很多企業處於觀望狀態,從根本上影響了企業向大數據方向發展,也阻礙了企業對自身數據資產的積累和挖掘。甚至因為數據沒有應用場景,很多有價值的歷史數據被刪除,造成企業數據資產的流失。因此,需要大數據從業者和專家共同努力,推廣和分享大數據應用場景,讓更多的商業人士了解大數據的價值。

挑戰2:企業內部嚴重的數據孤島

企業啟動大數據最大的挑戰是數據的碎片化。在很多企業,尤其是大型企業,數據往往分散在不同的部門,這些數據存在於不同的數據倉庫中,不同部門的數據技術可能不壹樣,導致無法打通自己的數據。如果不打通這些數據,大數據的價值是很難挖掘的。大數據需要不同數據的關聯和整合,才能發揮了解客戶和業務的優勢。如何打通不同部門的數據,實現技術和工具的共享,才能更好的發揮企業大數據的價值。

挑戰3:數據可用性低,數據質量差。

很多中大型企業也是每時每刻都在產生大量的數據,但是很多企業對大數據的預處理階段重視不夠,導致數據處理不規範。在大數據的預處理階段,需要提取數據,將數據轉換成便於處理的數據類型,並對數據進行清洗去噪,提取有效數據。甚至很多企業在上報數據時存在很多不規範、不合理的情況。以上原因導致可用性差,數據質量差,企業數據不準確。大數據的意義不僅在於收集大規模的數據信息,還在於對收集到的數據做好預處理,讓數據分析師和數據挖掘者從高可用性的大數據中提取有價值的信息。Sybase數據顯示,高質量數據的應用可以顯著提升企業的業務績效,數據可用性可以提升10%,企業的業績至少可以提升10%。

挑戰4:與數據相關的管理技術和架構

技術架構的挑戰包括以下幾個方面:(1)傳統數據庫部署無法處理TB級數據,快速增長的數據超出了傳統數據庫的管理能力。如何構建壹個分布式數據倉庫,輕松擴展大量服務器,成為很多傳統企業面臨的挑戰。(2)很多企業采用傳統的數據庫技術,在設計之初沒有考慮數據類別的多樣性,尤其是結構化數據、半結構化數據和非結構化數據的兼容性;(3)傳統企業的數據庫對數據處理時間要求不高,這些數據的統計結果往往滯後壹兩天才被統計出來。但是大數據需要實時處理數據,進行分鐘級甚至秒級的計算。傳統的數據庫架構師缺乏實時數據處理能力;(4)海量數據需要良好的網絡架構和強大的數據中心來支撐,數據中心的運維也將成為挑戰。如何在保證數據穩定、支持高並發的同時,降低服務器的低負載,成為海量數據中心運維的關鍵工作。

挑戰5:數據安全

網絡生活讓犯罪分子更容易獲取人的信息,不容易被跟蹤和防範的犯罪手段也更多,可能會有更巧妙的騙局。如何保證用戶的信息安全,已經成為大數據時代非常重要的問題。網上數據越來越多,黑客犯罪的動機比以往任何時候都強烈。壹些知名網站密碼泄露、系統漏洞導致用戶數據被盜等個人敏感信息的泄露,警醒我們加強大數據網絡安全建設。此外,隨著大數據的增多,對數據存儲的物理安全要求會越來越高,這也對數據的多副本和容災機制提出了更高的要求。目前很多傳統企業的數據安全堪憂。

挑戰六:缺乏大數據人才

大數據建設的每壹個環節都需要專業人員來完成。因此,需要培養和造就壹支具有大數據技術、管理和大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的缺乏會阻礙大數據市場的發展。根據Gartner的預測,到2015年,全球將創造440萬個與大數據相關的工作崗位,25%的組織將設立首席數據官職位。大數據相關的崗位需要能夠綜合駕馭數學、統計學、數據分析、機器學習、自然語言處理的復合型人才。未來大數據將出現約654.38+0萬的人才缺口,大數據中高端人才將成為各行業最熱門的人才,涵蓋數據開發工程師、大數據分析師、數據架構師、大數據後臺開發工程師、算法工程師等多個方向。所以需要高校和企業共同努力培養和挖掘。目前最大的問題是很多高校缺乏大數據,有大數據的企業要和學校聯合培養人才。

挑戰7:數據公開和隱私之間的權衡

在大數據應用越來越重要的今天,數據資源的開放和共享已經成為在數據戰爭中保持優勢的關鍵。商業數據和個人數據的應用不僅可以促進相關行業的發展,也給我們的生活帶來了極大的便利。由於政府、企業、行業信息系統建設缺乏統壹規劃和標準,形成了許多“信息孤島”,且受行政壟斷和商業利益的限制,數據開放程度低,對數據利用造成了很大障礙。制約我國數據資源開放和共享的另壹個重要因素是政策法規不完善,大數據挖掘缺乏相應的立法。保證* * *享受和防止濫用是不可能的。因此,建立良性的數據共享生態系統是中國國家數據發展的壹大進步。同時,如何平衡開放和隱私也是大數據開放過程中最大的問題。如何在促進數據充分開放、應用和享用的同時,有效保護公民和企業的隱私,並逐步加強隱私立法,將是大數據時代的壹大挑戰。

  • 上一篇:環境會計信息披露的歐洲現狀
  • 下一篇:江西備案情況查詢入口在哪裏?
  • copyright 2024法律諮詢服務網