本人與數據打交道25年，經歷了從電信、網通到聯通的多次重組，親身參與了數據專業線從弱勢群體逐漸發展的全過程。壹直想找個機會說說自己的經歷，但壹直沒下定決心動筆。最近受範總原創的《壹文閱讀理解Hadoop的思考》的啟發，想從數據工作實踐的角度分享壹下自己的想法，所以正好拋磚引玉。
1.關於數據中心的定位，先從文中的慣用套路說起。首先，“什麽是數據？”通俗的理解是:如果把企業比作壹條“生產線”，那麽數據就是這條“生產線”上的各種活動所產生的、以各種形式存儲在各種系統或其他載體中的信息。數據是將這些信息按照壹定的屬性和規則進行分類處理後形成的，它反映了企業的業務發展情況，記錄了企業用戶的使用情況和產業鏈中各個參與者的情況。受現代企業部門設置和專業條線管理結構的影響，企業完整的“生產線”被各個部門分割，數據分散在各個部門管理的系統中。這就是大企業業務和數據管理的現狀~ ~“職責分離，數據分散”。那麽，如何反映企業的整體發展狀況呢？通常在公司月度經營分析會和財務部分析報告中匯報公司整體情況，而市場、集團客戶等部門的報告則分別匯報專業條線的經營情況。曾經發生的事情是，財務部門上報公司整體利潤下滑，而各業務部門卻紛紛完成任務，反差極大。老板納悶~ ~“妳們都完成任務了，我卻沒有？”聯通重組以來，在省內其他專業的壓力下，聯通壹直在推進數據集中。工信部在集團層面集中存儲了各省、各系統數以億計的用戶詳細數據，並通過統壹的規則對數據進行處理。再加上後期的分析應用，不僅使得月度統計的用戶發展數據更加真實，還發現了城市層面的違規操作和欺詐表現。集團董事長召開全國地市級工作會議，點名批評撤換了幾個市的老板。當時當地老板還雲裏霧裏~ ~“我沒有這麽詳細的數據。主席怎麽知道的？”這就是數據在打破部門和省份之間壁壘的至關重要的作用，讓領導對企業的真實情況有壹個全面的看法，“知其所以然，知其所以然”。近兩年，中國聯通通過與外部公司的合作，利用脫敏的用戶標簽數據為企業創造了真正的價值，“數據”的應用價值日益凸顯，真正成為企業的又壹寶貴資源。此前，企業中並沒有這樣壹個專門的部門從全局的角度來擔當“數據資源”管理者的角色，這是建立“數據中心”的初衷，也是其定位和不可推卸的責任。聯通數據中心的成立，是“數據線”這壹弱專業第壹次擺脫依賴，成為獨立的二級部門，也是對聯通信息化部門在實用數據集中整合應用和支撐公司管理方面所取得成績的高度肯定。說到這，在數據線上工作的人都會有很深的嗡鳴，有多少困難就有多少困難。2.主動還是被動？都是“支持”的錯。“數據中心”是從信息部分離出來的，信息部的基本定位是“支持”，也就是要有求必應。我們熟悉的場景是，每個月有幾天，業務部門的人為了寫壹份分析報告，需要壹些報告以外的數據進行分析，給數據部門打電話，然後焦急地等待他們提供的數據結果。另壹個場景，數據部的人員被各個部門的各種數據需求折騰的團團轉，為了提供數據加班到天亮。以前有辦公室負責數據服務，總結年度工作用的數據是“提供上萬份報表”。在用戶的堅持下，該子系統開發了大量內容相似、格式不同的報表。壹方面是用戶無止境的需求得不到滿足，另壹方面是系統中大量報表得不到訪問。由於用戶無法自行獲取數據，日常的數據服務工作相當被動。其實從內容上來說，壹個企業的數據是唯壹的，但是各個部門因為關註的角度不同，提出了不同的呈現要求，實際上在數據層面有很高的重合度。要想降低需求，提高客戶滿意度，就需要數據管理部門的人員具備高度的綜合能力。這個人不僅要熟悉公司的業務、流程和職責分工，還要有良好的溝通能力，能夠正確理解、綜合和引導用戶的需求，然後在整體框架下將整合、驗證後的需求固化在系統中。如果妳能力很強，還是可以從個人層面主動去做壹些事情。但要想改變數據工作的被動局面，需要數據管理部門從“數據資源管理者”的角度，主動從數據、應用、管控、系統四個方面形成系統的數據管理框架，指導日常工作和系統建設。上圖是中國聯通2009年開展的數據管理系統研究成果，是對數據工作很好的總結和提升。它是數據管理系統L0的結構，揭示了數據管理的組成部分和各部分之間的關系。與其他專業線不同，數據專業的管理核心是“數據”，數據質量、生命周期、安全管理是核心控制內容，組織(人員、系統)、制度是數據產生價值的基本保障。數據、應用、管控、系統，缺壹不可，有相互關聯、不斷優化的流程(流程)，絕對不是建幾個系統那麽簡單，這也是數據專業管理的難點。上圖很好的詮釋了數據工作的流程。數據部門要想扭轉被動局面，首先要有自己完整的架構(數據、應用、系統、流程、管理體系)。這壹框架的形成需要經歷以下四個步驟:正確評估自身能力現狀；找出公司經營戰略和目標對數據專業的期望和差距；選擇性確定數據工作的戰略目標和階段性計劃後組織實施；階段性計劃完成後，需要對能力提升的結果進行評估，從而形成對現狀的新評估，並逐步有效地積累。信息化的同事很容易理解數據、應用和系統，但不容易理解系統和流程。制度就是遊戲規則，規定誰該做什麽，怎麽做，做到什麽程度。這個過程是為了闡明壹項工作的各個步驟和所涉及的各個部門之間的關系。目前流程的缺失帶來了太多的問題。常見的情況是，壹家企業已經下線，但仍在我們的系統中顯示。新業務為公司創造了價值，其收入沒有在財務報表中單獨反映，不能及時反映該業務的發展情況；系統中的數據和報表功能已經具備，業務部門還在要求數據部門手工提供數據，用戶的需求無法及時傳遞到施工環節。
要解決這些問題，必須形成閉環的數據工作流程，同時要加入公司運營、網絡、管理等前端環節，第壹時間參與產品規劃、基礎設施規劃、課題調整等前期工作，保證數據工作的有效積累和正常運轉。
3.誰在使用數據？他的核心需求是什麽？明確了定位和工作內容之後，首先要明確的是工作目標，而目標的確定需要知道數據的使用者是誰，他們的核心需求是什麽。那麽，數據的需求者是誰？從企業管理的角度來看，數據需求通常分為內部需求和外部需求。具體包括:(1)內部需求是數據服務企業管理的職責。從管理層面，包括集團和分子公司、省級分公司；從管理職責來說，是公司管理層、職能部門和基層經營者。管理層的訴求是通過數據把握公司運營的整體情況，知道“發生了什麽？主要原因是什麽？我該去找誰？”妳給了我10以上的指標，因為這10的指標可能會反方向變化，我要自己判斷哪個是核心指標。管理需要的是“簡潔而不簡單”，這也是最高要求。“如何讓領導的桌面變得簡單？”如果妳沒有想過這樣的問題，領導很難對妳的工作滿意。滿足領導需要的最好方法是提供壹個綜合指數，就像溫度計壹樣，或者上證指數。壹個指標可以概述總體情況。這個指標背後是壹個綜合性很強的評價體系，需要專門的研究和大量的實踐檢驗。(上圖是DW1.0設計的領導主頁UI規範，是壹個工作臺，包括問題發現、任務分配、問題反饋三個功能。中間是公司當月整體情況的評估結果。雷達圖顯示目標值與綜合評價指標池中業務發展、財務狀況、企業運營、創新能力四項指標的差距，支持問題預警提示和鉆取探索。頁面下方有熱點信息和信息反饋的連接，支持領導任務分配和問題反饋。)職能部門是我們打交道最多的部門，他們的需求是獲取本專業的數據來支持日常管理。應用最廣泛的是月度商業分析。有的部門使用自己的報表系統，有的部門依靠數據部門支撐，有的部門可用數據很少，有的部門幹脆重新建立自己的系統進行模型沈澱。從數據的應用層面來說，我們能提供給職能部門的，還停留在數據的粗加工層面。“我們最賺錢的產品是什麽？誰是我們含金量最高的用戶？我們應該采取什麽樣的策略？我們采取的措施效果如何？”太多的問題需要用數據來回答。現在要從數據部門後臺取錢了，職能部門的人自己拿不到數據，什麽都做不了。當他們能把自己的數據拿出來分析的時候，職能部門的用戶滿意度就能提高。基層運營商是離用戶最近的壹個環節，能使用的數據真的很少。近年來，激發基層活力的工作對數據服務基層提出了更多要求。但是，壹個基於產品線的用戶級粒度收入數據，壹個基於管理主體的成本數據，如何支撐壹線人員的資源分配和績效管理？數據層面對基層人員做的很少。最後，為我們的用戶說幾句。如果我是壹個世界500強用戶，第壹次進入聯通營業廳辦理業務，在我為聯通創造了多少收入之後，聯通能不能第壹時間為我提供大客戶級別的服務，而不用等我發現自己的價值？如果我使用聯通的寬帶服務超過10年，聯通能否認可我的價值，為我提供VIP級別的綜合服務？聯通能不能用我喜歡的方式，在方便的時間，用更方便的手段給我推薦貼心的服務，而不是專註於挖掘我的隱私？以上用戶的訴求都是有大量數據支撐的。公司多年來的經營策略都是“以客戶為中心”，但從數據指標體系來看，還是“以產品為中心”。數據層真的應該為我們的用戶做點什麽。上圖幫助我們從另壹個角度思考我們的工作目標。我們要從數據使用者的角度考慮我們應該做什麽，我們能做什麽，我們已經做了什麽，來形成我們的工作目標。不能再拘泥於傳統的工作模式，數據工作需要總結和創新。(2)外需是數據服務社會，為企業創造價值的體現。近年來，由於中國聯通數據集中的優勢，與招商、螞蟻金服等多家企業合作，打通了手機終端、用戶信用指數等多項應用，為企業創造了新的收入來源。(我不了解作品，所以沒有發言權。)“去年9月，國務院發布《促進大數據發展行動計劃》，稱2018年底前完成全國政府數據統壹開放平臺建設，率先向社會開放氣象、環境、信用、交通、醫療、健康等20多個重要領域的公共數據資源。”“在政府和市場的雙重催促下，原本封存在服務器裏的舊數據，變成了豐富的‘金礦’。興奮的企業和研究人員壹邊搜索數據，壹邊根據需要篩選出有價值的數據。重建。但是真正能做深度挖掘的企業並不多。這個領域正在等待“殺手級”應用的出現，這些應用將推動金融、醫療衛生、零售、制造等行業發生根本性的變化。”~“大數據的痛點”聯通和社會其他領域壹樣，也在經歷著探索的過程。首先，它完成了自身數據的集中整合，然後，它考慮了外部數據的整合和應用。對於聯通來說，外部用戶包括:政府部門、資本市場監管和審計機構、有興趣的合作夥伴。對外服務合作，尤其是收費服務，對產品化要求更高。此外，作為國企有其社會責任，中國聯通的大數據應用或許能在治理交通擁堵、解決看病難等社會問題、提高居民幸福指數等方面發揮作用。所有行業的大數據都有同樣的感覺，目前缺乏“殺手級”應用。個人認為，“殺手級”應用首先應該是基於大數據的分析預測能力與個性化需求相結合的結果。例如，高德導航提供了每條道路的高峰擁堵預測。用戶在進入出行計劃時，可以預測壹天甚至壹周的擁堵情況，選擇出行時間，而不是在路上，然後糾結選擇哪條路。再比如，微信最近發布的電子發票功能，在為用戶解決實際問題、提高效率的同時，撬動企業級應用，從個人應用到企業，讓銀行進壹步感到力不從心。另外，很高興收到高德地圖最近推出的早高峰預警信息。我覺得不管是哪種應用，都應該站在個人體驗的角度，問問自己到底需要什麽，然後靜下心來，以負責任、腳踏實地的態度把問題解決到最好，才不會被評價為“簡單粗暴”。4.什麽需要系統來實現？~ ~復制，過程，積累，歸根結底還是積累。最近其他部門的朋友跟我抱怨了好幾次。現在提出報告的需求需要很長時間。和新同事溝通了很多次，也不知道我們要的是什麽。真是無語了。這樣的事情在人事變動後成為了常態。小事情，不管是市場部的分析師，信息技術部的需求經理，還是廠商的開發人員，都會有壹段時間是“零”。看大事，人變了，之前的工作沒有積累。後來的人根本不了解前壹部作品的程度，這部作品似乎是“零”。在另壹個場景中，每個月，營銷部門的分析師都會獲得數據並撰寫分析報告。經營分析會後，塵埃落定。數據部每年要花很多錢在為營銷人員提供的加班數據和資料上。這些支出創造了什麽價值？難道只是為了領導聽報告討好眼球？我們真的需要坐下來好好想想。我曾經遇到過壹個市場部的同事，他用Excel做了壹個非常復雜的模板，就是把月度數據匯總成月度數據，然後計算同比、環比、構成並繪制趨勢圖，通過技術手段可以輕松實現。他們為什麽不把這個模板變成壹個系統能力，讓系統幫他呢？之前有個技術哥跟我說，現在懂業務的人最有價值。沒有什麽是技術做不到的，主要是知道用技術做什麽。技術再好，也要想好做什麽，能做什麽。個人認為，系統要做的就是復制、加工、積累，系統不可能解決沒人解決的問題。如果妳已經有了壹個成熟的模板，系統可以針對每個月和全國復制，這樣可以提高效率，避免人為操作失誤。如果妳做了壹個完善的閉環流程，系統可以幫妳嚴格執行。但是，最有價值的是積累，不僅是數據應用和流程的積累，更是固化在系統中的“知識”的積累。有助於後面的人熟悉數據，不會因為人事變動而使工作歸零。“積累”是壹個需要時時刻刻思考的東西。上圖從大數據應用價值和系統能力水平的角度展示了能力積累的水平，也有助於我們快速定位目前所能達到的水平，明確自己努力的目標。我們是滿足於提供數據粗加工的原材料，還是嵌入企業的生產流程，形成商業合作模式？5.數據專業發展的關鍵是什麽？~ ~人，還是人。從2008年聯通重組到2012年數據中心成立，用了四年時間，其中的艱辛不用多說。(此處省略301字。)沒有人是不行的，尤其是數據專業。妳需要壹群懂數據、會用數據、能吃苦、耐勞的人。團隊是最寶貴的資源。人才隊伍建設的必要條件包括:(1)支持優勝劣汰的幹部任免制度；(2)支持保留最好的員工薪酬制度；(3)有效的培訓交流和知識積累機制，幫助員工快速成長；(4)支持我們有競爭力的獨立開發團隊的薪酬體系；(5)支持我們選擇最佳質量合作夥伴的投標過程；(6)合作夥伴認識到自己的不足，專心積累，認真做事，和我們壹起成長。6.總結最後，按照“自己的事情，別人的事情，上帝的事情”的分類方法，來說說我們能做什麽“自己的事情”:(1)首先，要有壹個穩定的數據管理框架，包括數據、應用、系統、法規。這種結構與公司的戰略目標相結合，形成演進路線和年度工作目標，通過年度目標的達成逐步實現。數據管理架構需要在數據中心(集團、省分行)內部，以及公司管理層、信息技術部門和其他業務部門之間理解，並堅定不移地實施。(2)明確崗位職責和分工接口(集團和省分公司)，保持相對穩定，避免“因事臨時創造崗位”。定期組織員工培訓交流，做好知識傳遞和信息共享，實現員工層面的年度工作目標，讓新員工盡快進入新角色。通過專題課題組邀請省公司參與數據能力建設，調動省公司的積極性，養成數據中心每個人“閱讀和使用數據”、“發現問題和解決問題”的良好習慣，提升自己，形成有效積累，形成“成長型”的數據專業團隊。(3)建立定期的用戶(數據服務對象)溝通制度，積極介紹我們的數據架構和系統能力提升、職責分工和年度工作目標，在用戶層面達成* * *理解。引導用戶使用更多的系統能力，並從中受益，讓用戶切實感受到效率的提升，願意和我們壹起積累。(4)多方整合身邊的資源，在提升自身能力、提升方法論、產品水平等方面與合作夥伴達成* * *理解，共同進步。引入咨詢機構和高校專業人士參與綜合指數、客戶指標體系等壹批專題研究，提升數據產品化和創新能力。(5)建立閉環工作流，使相對後端的數據流參與到企業運營的前端過程中，從而及時反映企業運營的變化，定期更新指標體系、報表結構和相關應用，避免不壹致的問題，有效實施數據和應用的生命周期管理。說了這麽多，壹方面是不想表達自己多年積累的感受，另壹方面是覺得這個專業可以抓住機遇，取得更好的發展成果。想起多年前某領導說過的壹句話~ ~“有地方就有地方”。乘著大數據的東風，我們的團隊又壯大了。但是，“理想很豐滿，現實很骨感”。我們應該更加意識到我們肩上的責任和差距，避免浮躁和腳踏實地希望新同事盡快適應，進入角色。