【虎嗅夏季F&M節】騰訊蔣杰:實時計算,騰訊用它來干嘛?

注:本文來自騰訊數據平臺部負責人蔣杰在2014創投分享會夏季F&M節上的演講,創投分享會進行了整理、編輯。
非常感謝創投分享會給我這樣的機會。我今天主要講實時計算的框架和發展,還有應有的場景,還有在騰訊這樣的企業是如何應用的。
為什么要做實時計算?
無論是華大基因,還是很多硬件的創業者,他們講述的話題有所不同,但是各自的話題又都離不開數據。21世紀就是本數據書,如何更好的利用和發現數據,這需要有實時計算的體系。
騰訊實時計算的平臺是根據騰訊的效果廣告的發展而來的。我們的效果廣告為什么要實時計算?因為當你的數據量級在幾百億的時候,它要基于消息隊列的模式實現消息隊列的延續的過程。在騰訊整個業務的發展過程中,實時計算能為我們解決很多問題。
所以海量數據跟實時的結合是對騰訊實時計算的挑戰,而10毫秒快速反應則是我們努力的方向。
比如你一個用戶綁定了Q—zone,根據這個用戶在騰訊里面的關系鏈,他的關系加起來是幾億的模型,加上用戶量有8億,8億用戶之間的關系,還有你的點擊行為,包括用戶的瀏覽行為,根據行為的過程我們會做一些廣告的投放,精準投放的模式,這就需要有海量數據跟實時的結合。因為只有10毫秒,你才能做這樣的體系,并且量基本是每天接近300億。
實時計算的應用場景有哪些?
對于實時計算來說,它的應用場景有很多。
在社交領域它可以實時感知你的好友動向,大家都知道玩什么東西,這已經在很多社交領域有了很多應用。還有電商,淘寶、京東等大型電商的櫥窗廣告都是用這種模式做了。在游戲行業,特別是預測用戶游戲的感受,當你多次失敗的時候如何預測流失風險,還有游戲玩到一定程度的時候,你想過關用什么道具,幫你推薦相關的道具這也是一個應用。營銷就不用說了,根據實時的地理位置信息,還有商家的信息。
基于這樣的平臺,我們每天已經支持了1萬億的實時消息接入,大概是2.6萬億實時計算,我們每次寫入的存儲大概在5千萬億,基于這樣我們覆蓋了很多業務,也應用到所有的領域。
怎么做實時計算?
很多人說你是怎么做的?我們還是跟傳統架構的延伸革命,我們把所有的資源,采用普通的互聯網架構,用我們的硬件資源和技術管理起來。
這里面主要是三個模塊。
一個模塊是做實時采集。
全球200個top點的數據實時采集過來,延遲要達到1秒鐘之內,還要做加密,壓縮,節省網絡流量。在上面要做很多計算引擎,做一些動態的自學習算法模式。
還有一個是做存儲模式。
有些消息是要保留的,必須要把它存下來。這個模式有一套技術框架,基于這樣的技術框架,我們的應用領域可以覆蓋很多。廣告是一個,微信的監控也是一個。比如在一個小國家,他用微信非常慢,如果出現了故障,我們可以比運營商還早發現,并且提供報警。
最后一個是基于實時分析與精準推薦。
對互聯網來說,計費通常是一次性行為。如果你交電費或者電話費,這次不成功,你下次還會交,因為你需要付費來維持服務。但對于游戲來說,我要打一個關卡,這并不是一個必然的事件。如果游戲過程中我需要付費,但付費不了,那下一次就不會付費了。所以,類似游戲這樣的業務對我們整個計算和實時功能要求非常高。
因此。我們用實時分析的模式解決實時的問題。每一個標簽的行為,包括耗時都可以被統計進來。同時,我們將實時計算用于精準推薦,精準推薦是實時計算最好的一個應用點,也是一個能夠讓企業真正有價值的地方。這樣我們才能夠將用戶的體驗做到極致。
知名風險投資公司
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||

創業聯合網是創業者和投資人的交流平臺。平臺擁有5000+名投資人入駐。幫助創業企業對接投資人和投資機構,同時也是創業企業的媒體宣傳和交流合作平臺。
熱門標(biao)簽(qian)
精華文(wen)章