企業和其他組織壹直在充滿敵意的信息安全環境中運行，在這個環境中，計算和存儲資源成為攻擊者使用入侵系統進行惡意攻擊的目標。其中，個人機密信息被竊取，然後被放在地下市場出售，而國家支持的攻擊導致大量數據泄露。在這種情況下，壹個企業需要部署大數據安全性分析工具
來保護有價值的公司資源。
信息安全的很大壹部分工作是監控和分析服務器、網絡和其他設備上的數據。如今大數據分析方面的進步也已經應用於安防監控中，並且它們可被用於實現更廣泛和更深入的分析。它們與傳統的信息安全分析存在顯著的差異，本文將從兩個方面分別介紹大數據安全分析的新的特點，以及企業在選擇大數據分析技術時需要考慮的關鍵因素。
大數據安全分析的特征
在許多方面，大數據安全分析是[安全信息和事件管理security information and event management ，SIEM)及相關技術的延伸。雖然只是在分析的數據量和數據類型方面存在量的差異，但對從安全設備和應用程序提取到的信息類型來說，卻導致了質的差異。
大數據安全分析工具通常包括兩種功能類別：SIEM，以及性能和可用性監控(PAM)。SIEM工具通常包括日誌管理、事件管理和行為分析，以及數據庫和應用程序監控。而PAM工具專註於運行管理。然而，大數據分析工具比純粹地將SIEM和PAM工具放在壹起要擁有更多的功能;它們的目的是實時地收集、整合和分析大規模的數據，這需要壹些額外的功能。
與SIEM壹樣，大數據分析工具具有在網絡上準確發現設備的能力。在壹些情況下，壹個配置管理數據庫可以補充和提高自動收集到的數據的質量。此外，大數據分析工具還必須能夠與LDAP或ActiveDirectory服務器，以及其他的第三方安全工具進行集成。對事件響應工作流程的支持對於SIEM工具可能並不是非常重要，但是當日誌和其他來源的安全事件數據的的數據量非常大時，這項功能就必不可少了。
大數據信息安全分析與其他領域的安全分析的區別主要表現在五個主要特征。
主要特性1：可擴展性
大數據分析其中的壹個主要特點是可伸縮性。這些平臺必須擁有實時或接近實時的數據收集能力。網絡流通是壹個不間斷的數據包流，數據分析的速度必須要和數據獲取的速度壹樣快。 該分析工具不可能讓網絡流通暫停來趕上積壓的需要分析的數據包。
大數據的安全分析不只是用壹種無狀態的方式檢查數據包或進行深度數據包分析，對這個問題的理解是非常重要的。雖然這些都是非常重要和必要的，但是具備跨越時間和空間的事件關聯能力是大數據分析平臺的關鍵。這意味著只需要壹段很短的時間，壹個設備(比如web服務器)上記錄的事件流，可以明顯地與壹個終端用戶設備上的事件相對應。
主要特性2：報告和可視化
大數據分析的另壹個重要功能是對分析的報告和支持。安全專家早就通過報表工具來支持業務和合規性報告。他們也有通過帶預配置安全指標的儀表板來提供關鍵性能指標的高層次概述。雖然現有的這兩種工具是必要的，但不足以滿足大數據的需求。
對安全分析師來說，要求可視化工具通過穩定和快速的識別方式將大數據中獲得的信息呈現出來。例如，Sqrrl使用可視化技術，能夠幫助分析師了解相互連接的數據(如網站，用戶和HTTP交易信息)中的復雜關系。
主要特性3：持久的大數據存儲
大數據安全分析名字的由來，是因為區別於其他安全工具，它提供了突出的存儲和分析能力。大數據安全分析的平臺通常采用大數據存儲系統，例如Hadoop分布式文件系統(HDFS)和更長的延遲檔案儲存，以及後端處理，以及壹個行之有效的批處理計算模型MapReduce。但是MapReduce並不壹定是非常有效的，它需要非常密集的I / O支出。壹個流行工具Apache Spark可以作為MapReduce的替代，它是壹個更廣義的處理模型，相比MapReduce能更有效地利用內存。
大數據分析系統，如MapReduce和Spark，解決了安全分析的計算需求。同時，長時持久存儲通常還取決於關系或NoSQL數據庫。例如，SplunkHunk平臺支持在Hadoop和NoSQL數據庫之上的分析和可視化。該平臺位於壹個組織的非關系型數據存儲與應用環境的其余部分之間。Hunk應用直接集成了數據存儲，不需要被轉移到二級內存存儲。Hunk平臺包括用於分析大數據的壹系列工具。它支持自定義的儀表板和Hunk應用程序開發，它可以直接構建在壹個HDFS環境，以及自適應搜索和可視化工具之上。
大數據安全分析平臺的另壹個重要特點是智能反饋，在那裏建立了漏洞數據庫以及安全性博客和其他新聞來源，潛在的有用信息能夠被持續更新。大數據安全平臺可從多種來源提取數據，能夠以它們自定義的數據收集方法復制威脅通知和關聯信息。
主要特性4：信息環境
由於安全事件產生這麽多的數據，就給分析師和其他信息安全專業人員帶來了巨大的風險，限制了他們辨別關鍵事件的能力。有用的大數據安全分析工具都在特定用戶、設備和時間的環境下分析數據。
沒有這種背景的數據是沒什麽用的，並且會導致更高的誤報率。背景信息還改善了行為分析和異常檢測的質量。背景信息可以包括相對靜態的信息，例如壹個特定的雇員在特定部門工作。它還可以包括更多的動態信息，例如，可能會隨著時間而改變的典型使用模式。例如，周壹早晨有大量對數據倉庫的訪問數據是很正常的，因為管理者需要進行壹些臨時查詢，以便更好地了解周報中描述的事件。
主要特性5：功能廣泛性
大數據安全分析的最後壹個顯著特征是它的功能涵蓋了非常廣泛的安全領域。當然，大數據分析將收集來自終端設備的數據，可能是通過因特網連接到TCP或IP網絡的任何設備，包括筆記本電腦、智能手機或任何物聯網設備。除了物理設備和虛擬服務器，大數據安全分析必須加入與軟件相關的安全性。例如，脆弱性評估被用於確定在給定的環境中的任何可能的安全漏洞。網絡是壹個信息和標準的豐富來源，例如Cisco開發的NetFlow網絡協議，其可以被用於收集給定網絡上的流量信息。
大數據分析平臺，也可以使用入侵檢測產品分析系統或環境行為，以發現可能的惡意活動。
大數據安全分析與其他形式的安全分析存在質的不同。需要可擴展性，需要集成和可視化不同類型數據的工具，環境信息越來越重要，安全功能的廣泛性，其讓導致供應商應用先進的數據分析和存儲工具到信息安全中。
如何選擇合適的大數據安全分析平臺
大數據安全分析技術結合了先進的安全事件分析功能和事故管理系統功能(SIEM)，適用於很多企業案例，但不是全部。在投資大數據分析平臺之前，請考慮公司使用大數據安全系統的組織的能力水平。這裏需要考慮幾個因素，從需要保護的IT基礎設施，到部署更多安全控制的成本和益處。
基礎設施規模
擁有大量IT基礎設施的組織是大數據安全分析主要候選者。應用程序、操作系統和網絡設備都可以捕獲到惡意活動的痕跡。單獨壹種類型的數據不能提供足夠的證據來標識活動的威脅，多個數據源的組合可以為壹個攻擊的狀態提供更全面的視角。
現有的基礎設施和安全控制生成了原始數據，但是大數據分析應用程序不需要收集、采集和分析所有的信息。在只有幾臺設備，而且網絡結構不是很復雜的環境中，大數據安全分析可能並不是十分必要，在這種情況下，傳統的SEIM可能已經足夠。
近實時監控
驅動大數據安全分析需求的另壹個因素是近實時采集事故信息的必要性。在壹些保存著高價值數據、同時又容易遭受到嚴重攻擊的環境中，實時監控尤為重要，如金融服務、醫療保健、政府機構等。
最近Verizon的研究發現，在60%的事件，攻擊者能夠在幾分鐘內攻克系統，但幾天內檢測到漏洞的比例也很低。減少檢測時間的壹種方法是從整個基礎設施中實時地收集多樣數據，並立即篩選出與攻擊事件有關的數據。這是壹個大數據分析的關鍵用例。
詳細歷史數據
盡管盡了最大努力，在壹段時間內可能檢測不到攻擊。在這種情況下，能夠訪問歷史日誌和其它事件數據是很重要的。只要有足夠的數據可用，取證分析可以幫助識別攻擊是如何發生的。
在某些情況下，取證分析不需要確定漏洞或糾正安全弱點。例如，如果壹個小企業受到攻擊，最經濟有效的補救措施可能雇安全顧問來評估目前的配置和做法，並提出修改建議。在這種情況下，並不需要大數據安全分析。其他的安全措施就可能很有效，而且價格便宜。
本地vs雲基礎架構
顧名思義，大數據安全分析需要收集和分析大量各種類型的數據。如捕獲網絡上的所有流量的能力，對捕獲安全事件信息的任何限制，都可能對從大數據安全分析系統獲得的信息的質量產生嚴重影響。這壹點在雲環境下尤其突出。
雲提供商限制網絡流量的訪問，以減輕網絡攻擊的風險。例如，雲計算客戶不能開發網段來收集網絡數據包的全面數據。前瞻性的大數據安全分析用戶應該考慮雲計算供應商是如何施加限制來遏制分析範圍的。
有些情況下，大數據安全分析對雲基礎設施是有用的，但是，特別是雲上有關登錄生成的數據。例如，亞馬遜Web服務提供了性能監控服務，稱為CloudWatch的，和雲API調用的審計日誌，稱為CloudTrail。雲上的操作數據可能不會和其他數據源的數據壹樣精細，但它可以補充其他數據源。
利用數據的能力
大數據安全分析攝取和關聯了大量數據。即使當數據被概括和聚集的時候，對它的解釋也可能是很有挑戰性的。從大數據分析產生的信息的質量，部分上講是分析師解釋數據能力的壹項指標。當企業與安全事件扯上關系的時候，它們需要那些能夠切斷攻擊鏈路，以及理解網絡流量和操作系統事件的安全分析師。
例如，分析師可能會收到壹個數據庫服務器上有關可疑活動的警報。這很可能不是壹個攻擊的第壹步。分析師是否可以啟動壹個警報，並通過導航歷史數據找到相關事件來確定它是否確實是壹個攻擊?如果不能，那麽該組織並沒有意識到大數據安全分析平臺帶來的好處。
其他安全控制
企業在投身大數據安全分析之前，需要考慮它們在安全實踐方面的整體成熟度。也就是說，其他更便宜和更為簡單的控制應該放在第壹位。
應該定義、執行和監測清晰的身份和訪問管理策略。例如，操作系統和應用程序應該定期修補。在虛擬環境的情況下，機器圖像應定期重建，以確保最新的補丁被並入。應該使用警報系統監視可疑事件或顯著的環境變化(例如服務器上增加了壹個管理員帳戶)。應當部署web應用防火墻來減少註入攻擊的風險和其他基於應用程序的威脅。
大數據安全分析的好處可能是巨大的，尤其是當部署到已經實現了全面的防禦戰略的基礎設施。
大數據安全分析商業案例
大數據安全分析是壹項新的信息安全控制技術。這些系統的主要用途是合並來自於多個來源的數據，並減少手動集成解決方案的需求。同時還解決了其他安全控制存在的不足，例如跨多個數據源查詢困難。通過捕獲來自於多個來源的數據流，大數據分析系統提高了收集取證重要細節的機會。