大數據主要有三個就業方向,大數據系統研發類人才、大數據應用開發類人才和大數據分析類人才。
在此三大方向中,各自的基礎崗位壹般為大數據系統研發工程師、大數據應用開發工程師和數據分析師。又可分為以下十大職位:
壹、ETL研發
ETL研發,主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
二、Hadoop開發
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數據的存儲,MapReduce提供了對數據的計算。隨著數據集規模不斷增大,而傳統BI的數據處理成本過高,企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。
三、可視化(前端展現)工具開發
可視化開發就是在可視開發工具提供的圖形用戶界面上,通過操作界面元素,由可視開發工具自動生成應用軟件。還可輕松跨越多個資源和層次連接您的所有數據,經過時間考驗,完全可擴展的,功能豐富全面的可視化組件庫為開發人員提供了功能完整並且簡單易用的組件集合,以用來構建極其豐富的用戶界面。
四、信息架構開發
大數據重新激發了主數據管理的熱潮。充分開發利用企業數據並支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素,確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等。
五、數據倉庫研究
數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據壹體機。能夠在這些壹體機上完成數據集成、管理和性能優化等工作。
六、OLAP開發
OLAP在線聯機分析開發者,負責將數據從關系型或非關系型數據源中抽取出來建立模型,然後創建數據訪問的用戶界面,提供高性能的預定義查詢功能。
七、數據科學研究
數據科學家是分析師、藝術家的合體,需要具備多種交叉科學和商業技能。
八、數據預測(數據挖掘)分析
營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發者有些場景看上有有些類似數據科學家,即在企業歷史數據的基礎上通過假設來測試閾值並預測未來的表現。
九、企業數據管理
企業要提高數據質量必須考慮進行數據管理,並需要為此設立數據管家職位,這壹職位的人員需要能夠利用各種技術工具匯集企業周圍的大量數據,並將數據清洗和規範化,將數據導入數據倉庫中,成為壹個可用的版本。然後,通過報表和分析技術,數據被切片、切塊,並交付給成千上萬的人。擔當數據管家的人,需要保證市場數據的完整性,準確性,唯壹性,真實性和不冗余。
十、數據安全研究
數據安全這壹職位,主要負責企業內部大型服務器、存儲、數據安全管理工作,並對網絡、信息安全項目進行規劃、設計和實施。數據安全研究員還需要具有較強的管理經驗,具備運維管理方面的知識和能力,對企業傳統業務有較深刻的理解,才能確保企業數據安全做到壹絲不漏。