如果說有壹家科技公司準確定義了“大數據”的概念,那壹定是谷歌。根據搜索研究公司康姆斯克的調查,2065.438+02年3月,谷歌處理的搜索詞數量高達6543.8+02.2億。
谷歌不僅存儲在其搜索結果中出現的網絡連接,還存儲所有人搜索關鍵詞的行為。它能準確記錄人們搜索行為的時間、內容和方式。這些數據可以使谷歌優化廣告排名,並將搜索流量轉化為盈利模式。谷歌不僅可以跟蹤人們的搜索行為,還可以預測搜索者接下來會做什麽。換句話說,谷歌可以在妳意識到妳在找什麽之前預測妳的意圖。這種捕捉、存儲和分析海量人機數據,然後基於這些數據做出預測的能力被稱為“大數據”。
2012:大數據十字路口?
為什麽大數據突然變得這麽火?《紐約時報》為什麽把2012定義為“大數據的十字路口”?
大數據之所以進入主流大眾的視野,源於三大趨勢的合力:
第壹,很多高端消費品公司都加強了大數據的應用。臉書,壹個巨大的社交網絡,使用大數據來跟蹤用戶在其網絡中的行為,並通過識別妳在其網絡中的朋友來給出新朋友推薦建議。用戶的好友越多,他們與臉書之間的粘度就越高。更多的朋友意味著用戶會分享更多的照片,發布更多的狀態更新,玩更多的遊戲。
商業網站LinkdIn利用大數據在求職者和招聘崗位之間建立聯系。有了LinkdIn,獵頭再也不用打陌生電話給潛在員工碰運氣,而是可以通過簡單的搜索找到潛在員工並聯系他們。同樣,求職者可以通過在網站上聯系其他人,自然地將自己推銷給潛在的雇主。
第二,上述兩家公司均於2012年初上市。臉書在納斯達克上市,LinkedIn在紐約證券交易所上市。這兩家公司和谷歌壹樣,表面上是消費品公司,但本質是大數據公司。除了這兩家公司,Splunk也在2012完成了上市。是幫助大中型企業提供運營智能的大數據企業。這些公司的公開上市增加了華爾街對大數據的興趣。這種興趣帶來了壹個前所未有的盛況——矽谷的風險投資人開始紛紛投資大數據公司。大數據將引發下壹波創業浪潮,這壹波浪潮有望在未來幾年讓矽谷取代華爾街。
第三,亞馬遜、臉書、LinkedIn等以數據為核心的消費品的活躍用戶開始期待,他們可以在工作中獲得暢通無阻的使用大數據的體驗,而不僅僅是為了生活和娛樂。用戶之前壹直很疑惑,既然互聯網零售商亞馬遜可以推薦看書,推薦電影,推薦購買商品,為什麽他們的公司不能做類似的事情?
例如,既然租車公司有客戶過去租車的信息和現有的可用車輛庫存,為什麽這些公司不能更聰明地為不同的租車者提供合適的車輛?公司也可以通過新技術利用公共信息——比如某個特定市場的情況、會議活動的信息以及其他可能影響市場供求的事件。通過將內部供應鏈數據與外部市場數據相結合,公司可以更準確地預測什麽車輛可用以及何時可用。
同樣,零售商應該能夠將外部的公開數據與內部數據結合起來,並將這種混合數據用於產品定價和市場布局。同時,我們也可以考慮很多影響現貨供應能力和消費者購物習慣的因素,包括哪兩種產品放在壹起賣得更好,這樣零售商可以增加消費者的平均購買量,獲得更高的利潤。
谷歌的行動
與大多數其他公司相比,谷歌的規模和範圍賦予了它更多應用大數據的方式。谷歌的優勢之壹是擁有壹支軟件工程師大軍,這使得谷歌能夠從零開始建立大數據技術。
谷歌的另壹個優勢在於它的基礎設施。谷歌搜索引擎本身旨在使其能夠無縫鏈接成千上萬的服務器。如果有更多的處理或存儲需求,或者服務器崩潰,谷歌工程師可以通過添加更多的服務器來輕松處理。
谷歌軟件技術的設計也堅持同樣的基礎設施概念。MapReduce(Google開發的編程工具)用於大規模數據集的並行操作。——譯者註)和Google文件系統就是兩個典型的例子。《連線》雜誌在2012初夏報道稱,這兩個軟件系統“重塑了谷歌構建搜索索引的方式”。
現在很多企業都在用Hadoop,它是MapReduce和Google文件系統的開源衍生品。Hadoop允許在多臺計算機上分布式處理巨大的數據集。在其他公司剛剛開始使用Hadoop的時候,谷歌已經在大數據技術上深耕多年,這讓它在行業內擁有了巨大的領先優勢。
現在谷歌正在進壹步開放數據處理領域,與更多第三方共享。谷歌最近推出了網絡服務BigQuery。這項服務允許用戶對極大的數據集進行交互式分析。按照谷歌目前的情況,“超大”就是幾十億行數據。BigQuery是根據指令在雲端運行的數據分析。
此外,谷歌還擁有大量人們在谷歌網站上搜索並通過其網絡時產生的機器數據。用戶輸入的每壹個搜索請求都會讓谷歌知道他在找什麽,人類的所有行為都會在互聯網上留下痕跡,谷歌已經占據了捕捉和分析路徑的絕佳點。
不僅如此,谷歌除了搜索還有更多獲取數據的方式。公司安裝“谷歌分析”等產品來跟蹤訪問者在他們網站上的足跡,谷歌也可以獲得這些數據。該網站還使用“谷歌廣告聯盟”在其網站上展示來自谷歌廣告客戶網絡的廣告,因此谷歌不僅可以洞察自己網站上廣告的展示效果,還可以對其他廣告發布網站的展示效果壹目了然。
將所有這些數據放在壹起的結果是,企業不僅受益於最好的技術,還受益於最好的信息。在信息技術方面,很多企業可謂成本高昂。然而,在信息技術的組成部分之壹的信息領域,谷歌進行了巨大的投資,並取得了巨大的成功,但很少有企業能夠與之匹敵。
亞馬遜步步緊逼。
谷歌並不是唯壹壹家推廣大數據的大型科技公司。互聯網零售商亞馬遜采取了壹些激進的行動,這可能會使其成為谷歌的最大威脅。
有分析師曾預測,亞馬遜在2015年的營收將超過1000億美元,很快將超過沃爾瑪成為全球最大的零售商。和谷歌壹樣,亞馬遜也要處理海量數據,但在處理數據時有更強的電商傾向。消費者每在亞馬遜網站上搜索壹個想看的電視節目或者想買的產品,亞馬遜對消費者的了解就會增加。基於搜索和產品購買行為,亞馬遜可以知道接下來應該推薦什麽產品。亞馬遜的聰明還不止於此。它會不斷在其網站上測試新的設計方案,找出轉化率最高的方案。
妳認為亞馬遜上的壹頁文字?剛剛發生了什麽?如果妳這樣認為,妳應該再想想。整個網站的布局、字體大小、顏色、按鈕等所有設計,其實都是經過多次精心測試後的最佳結果。
面向數據的方法不限於上述領域。據壹位前員工稱,亞馬遜的企業文化是壹種冷冰冰的數據導向型文化。數據顯示什麽是有效的,什麽是無效的,新的商業投資項目必須有數據支持。對數據的長期專註讓亞馬遜能夠以更低的價格提供更好的服務。消費者往往會完全跳過谷歌等搜索引擎,直接去亞馬遜。搜索商品並進行購買。
爭奪消費者控制權的戰爭硝煙仍在蔓延。蘋果、亞馬遜、谷歌、微軟這四大公認的巨頭,不僅在互聯網上廝殺,在移動領域也在廝殺。鑒於消費者花在手機、平板等移動設備上的時間越來越多,坐在電腦前的時間越來越少,能夠接觸到消費者手中移動設備的企業在銷售和獲取消費者行為信息方面將更有優勢。企業對消費者群體和個人的了解越多,就越能更好地設計內容、廣告和產品。
從支持新興技術公司的基礎設施到消費內容的移動設備,亞馬遜的觸角觸及了更廣泛的領域,這令人難以置信。亞馬遜在幾年前就預見到了向其他人開放服務器和存儲基礎設施的價值。“亞馬遜網絡服務(AWS)”是亞馬遜知名的面向公眾的雲服務提供商,為新興企業和老牌企業提供可擴展的計算資源。雖然AWS成立時間不長,但壹些分析師估計其年銷售額超過6543.8美元+0.5億美元。
AWS提供的計算資源為企業開展大數據行動鋪平了道路。當然,企業還是可以繼續以私有雲的形式投資建設自己的基礎設施,很多企業都會這麽做。但是如果企業想要使用額外的資源,
可擴展的計算資源,他們還可以方便快捷地使用亞馬遜公共雲上的多臺服務器。如今,亞馬遜不僅通過自己的網站和Kindle等新的移動設備,還通過支持數千個熱門網站的基礎設施,引領潮流,吸引眼球。
AWS的結果是,大數據分析不再需要公司在IT方面投入固定成本。現在,獲取數據和分析數據可以在雲中簡單快速地完成。換句話說,企業過去因為無法存儲數據而不得不放棄數據,但現在他們有能力獲取和分析前所未有的數據。
實現信息優勢
AWS等服務與Hadoop等開源技術的結合,意味著企業終於可以嘗到多年前信息技術向世界描述的果實。
幾十年來,人們對所謂“信息技術”的關註壹直集中在“技術”部分。首席信息官的職責只是購買和管理服務器、存儲和網絡。如今,信息以及分析和存儲信息並根據信息做出預測的能力正在成為企業競爭優勢的來源。
在信息技術剛剛興起的時候,較早應用信息技術的企業可以發展得更快,超越別人。微軟在20世紀90年代建立了自己的威望,不僅因為它開發了世界上使用最廣泛的操作系統,還因為它在當時將電子郵件作為公司內部的標準溝通機制。
雖然許多企業仍對采用電子郵件猶豫不決,但電子郵件實際上已成為微軟討論招聘、產品決策和市場戰略等事宜的壹種機制。雖然現在大量的電子郵件交流已經司空見慣,但在當時,這樣的措施使微軟在速度和協作方面比其他沒有采用電子郵件的公司更有優勢。擁抱大數據並在不同組織之間民主地使用數據將為企業帶來類似的優勢。谷歌和臉書等公司受益於“數據民主”。
通過向所有與自己公司相關的分析師、經理和高管開放內部數據分析平臺,谷歌、臉書和其他公司已經使其組織的所有成員能夠提出與業務相關的問題,並獲得數據的答案。
並迅速采取行動。以臉書為例,它將大數據作為內部服務進行推廣,這意味著該服務不僅是為工程師設計的,也是為最終用戶——生產線經理設計的,他們需要使用查詢來找到有效的解決方案。因此,管理者不必等待幾天或幾周才能發現網站的哪些變化是最有效的,或者哪些廣告方法是最好的。他們可以使用內部的大數據服務,該服務旨在滿足他們的需求,使數據分析的結果可以在員工之間輕松共享。
過去的二十年是信息技術的時代,未來二十年的主題仍然是信息技術。這些企業可以更快地處理數據,公共數據資源和內部數據資源的整合將帶來獨特的見解,使他們能夠遠遠超越競爭對手。正如我寫的大數據的8大定律,妳分析數據越快,它的預測價值就越大。如今,企業正逐漸遠離批處理(批處理是指先存儲數據,事後再慢慢分析處理),轉向實時分析,以獲得競爭優勢。
對於高管來說,好消息是來自大數據的信息優勢不再屬於谷歌和亞馬遜等大公司。Hadoop等開源技術讓其他公司也有這樣的優勢。老牌財富100公司和新興初創企業可以利用大數據以合理的價格獲得競爭優勢。
大數據的顛覆
大數據帶來的顛覆不僅僅是獲取和分析比以前更多的數據的能力,更重要的是獲取和分析同樣數量數據的價格也在顯著下降,價格越低,銷量就會越高。然而,隱含的諷刺就像所謂的“傑文斯悖論”。經濟學家傑文斯(Jevons)通過觀察工業革命得到了這個悖論,並以他的名字命名(傑文斯悖論的核心是資源利用率的提高導致價格的降低,最終會增加資源的使用量。——譯者註)。科技進步讓數據存儲和分析的方式更加高效,公司會做更多的數據分析,所以並沒有減少工作。簡而言之,這就是大數據帶來的顛覆。
從亞馬遜到谷歌,從IBM到惠普、微軟,壹大批大型科技公司投身於大數據,基於大數據解決方案,更多的初創企業如雨後春筍般湧現,實現了開源,享受了雲。大公司致力於橫向大數據解決方案,而小公司專註於為重要的垂直業務提供應用。有些產品優化銷售效率,有些則通過將不同渠道的營銷績效與實際產品使用數據關聯起來,為未來的營銷活動提供建議。這些大數據應用(BDA)意味著小公司不必在內部開發或裝備所有的大數據技術;在許多情況下,他們可以使用基於雲的服務來滿足數據分析需求。除了技術,這些小企業還會開發壹些產品,跟蹤和記錄與健康相關的指標,並提出改善人們行為的建議。像這樣的產品有望減少肥胖,提高生活質量,降低醫療成本。
大數據路線圖
行業分析和研究公司Forrester估計,企業數據總量正以94%的年增長率飆升。在如此快速的增長下,每個企業都需要壹個大數據路線圖。至少,企業應該制定壹個獲取數據的策略,數據範圍應該從內部計算機系統的例行機器日誌到在線用戶交互記錄。即使企業當時不知道這些數據的用途,也應該這麽做,這些數據的用途可能是後來突然發現的。
數據的價值遠高於妳最初的預期,不要扔掉。企業還需要壹個計劃來應對數據的指數級增長。照片、即時消息和電子郵件的數量是巨大的,由手機、GPS和其他設備組成的“傳感器”釋放的數據甚至更多。
理想情況下,企業應該有壹個能夠讓數據分析貫穿整個組織的願景,分析應該盡可能接近實時。通過觀察谷歌、亞馬遜、臉書等科技領軍企業,妳可以看到大數據下的可能性。管理者需要做的是將大數據戰略整合到他們的組織中。
像谷歌和亞馬遜這樣的公司已經使用大數據進行決策好幾年了,他們在數據處理方面取得了廣泛的成功。現在,妳可以擁有同樣的能力。
以上是邊肖為妳分享的關於大數據妳必須知道的大公司、大布局。更多信息可以關註全球常春藤分享更多幹貨。