中文字幕免费精品_亚洲视频自拍_亚洲综合国产激情另类一区_色综合咪咪久久

樂視視頻借力開源技術處理大數據的經驗分享
來源:易賢網 閱讀:1803 次 日期:2016-07-14 10:31:29
溫馨提示:易賢網小編為您整理了“樂視視頻借力開源技術處理大數據的經驗分享”,方便廣大網友查閱!

從年底破百億的“羋月傳”和有毒的“太子妃”到年初舉報快播的“背鍋俠”,樂視簡直賺足了國民的關注。現在看來,游戲才剛剛開始,最近樂視又在忙活著升級,改Logo改域名,這意味著樂視已經準備火力全開,進軍全球市場了。小編覺得,樂視之所以有這么大的野心,是因為背后有大數據作支撐,而且未來,大數據在樂視全球化戰略中也將發揮舉足輕重的作用。

從內容來看,樂視大數據打造的超級IP實力確實強大。2013年樂視最早借大數據跑贏宣傳檔為即將上映的《小時代》做了最精準的預測和分析,開展了一場漂亮的電影營銷,拉開了大數據電影營銷的模式。再后來,國內影視開始掀起IP潮,2015年是IP炒的最熱的一年。年底,樂視給用戶呈上滿意的答卷,其自制的“十年劇王”《羋月傳》以全網200多億的播放總量創下紀錄。網絡雷劇《太子妃升職記》,目前全網播放量已接近15億。大數據+超級內容IP給樂視進軍全球市場注入了無限動力。

然而,這不是重點,“內容+”才是樂視生態的看點。《羋月傳》播出后,樂視同步推出了《羋月傳》定制版超級電視、智能手機、羋酒、手機殼、《羋月傳》經典臺詞版手機鈴聲等個性化產品,還與天貓合作,打造《羋月傳》衍生品旗艦店,《羋月傳》手游也已經發布。注意,請注意,這是一個360°無死角的IP布局,樂視超級IP已經形成一個完美的閉環。

如果說IP是軟件的話,那樂視云就是硬件了。大數據時代,最不缺的就是“云”了,樂視云是一個專注于視頻領域的云計算平臺,2016年樂視云已經與戴爾達成兩年全球戰略合作、聯手全球領先大數據運營商Equinix,法國第一大電信運營商Orange、澳大利亞最大電訊公司澳大利亞電信、世界領先綜合性國際電信公司西班牙電信、全球頂級通信方案運營商香港和記環球電訊有限公司等全球多家頂級運營商,打破數據孤島,加速視頻生態體系建設,未來樂視大數據的觸角將會伸向更多行業。

再來看市值,樂視網2004年成立,2010年上市,當年市值僅為50億。五年下來,樂視依托大數據平臺在互聯網視頻、影視制作、智能終端、電子商務等垂直領域深耕,到現在,總市值已接近1100億。但是,看看樂視這次全面升級沖擊全球的架勢,貌似,樂視的故事才剛剛開始!

白德鑫現在正在從事樂視網超級電視做數據挖掘。他表示,原來初期的業務做得適應不了當前業務發展,所以要進化。主要做的事情,構建每件事的時候,分析數據的平臺,給樂視網的超級電視提供數據挖掘服務.如何從最初業務發展到現在,包括在超級電視上做實時分析和用戶離線挖掘,通過數據挖掘,給很多業務部門提供數據挖掘的支持。

白德鑫提到自己是谷歌粉絲,目前正在做第一批超級電視數據挖掘。云視頻搞清播放機的時候,那時候比較屌絲,只有幾萬臺數據,數據當時也比較少,做了一些開機數之類的、日常數據。在業務里做,在數據節點做計算。

后來性能越來越低,因為量越來越大,當時每天數據量,當時覺得很大,每天只有幾千萬行數據。這時覺得需要嘗試一些新的技術,就用Cassandra為存儲,存儲日至,做簡單處理切分以后放進里面,使用Hodoop進行計算,把結果塞到MySQL里。每天計算數據對自己來說是一個中間數據。可以出來一些報表。數據組合比較多,剛開始只是盒子、應用,后來還有一些視頻播放內容,開始嘗試把每天數據把MySQL和Kettle進行分析。但是做了三四個月又換了,使用Kafka、Storm、Hodoop、Hpase、Hive、Oozie、Sqoop,唯一修改是有一些大的,跟隨開源社區來做,進行相應升級,盡量跟社區保持一致。

樂視網大數據的起點

白德鑫表示,剛開始只有一個數據分析員,抓一些數據,這是做的分析。電視的盒子,包括電視開機,看了什么電視節目,因為樂視網是做視頻內容的,點開了什么視頻節目,看了多長視頻節目是通過心跳來做的,三分鐘一個心跳,這個放到終端記錄下來。播放有開始、有心跳,電視好一些,但是盒子有些用戶看著看著直接斷電了,結束就沒有了,只能從心跳往回挖。

自從發布超級電視以后,剛開始盒子價格比較貴,沒人買,后來盒子賣299,賣出去很多。數據量按照三分鐘心跳,幾十萬用戶看視頻,開機有心跳、播放視頻有心跳,數據量特別大,沒辦法,樂視當時上了四臺。四臺數據,看怎么發布的。之后輸出,然后進行分析。看有哪些問題。

當時做這個事情的時候一個人在做這些事情。然后后來有人離職,后來Cassandra這塊沒人了,交接的時候寫完,對系統影響很大。在這個時候沒人接手,他走了技術也走了,一個蘿卜一個坑,蘿卜走了坑很不容易填的。后來想找一個技術更牛一些的人幫樂視來做,但是到現在一個多月沒有找到。系統要繼續做,數據也在瘋狂增長,沒辦法就把Cassadnra去掉,往MySQL里放。

通過另外一種方式,分析人員對樂視意見很大,他多的時間有兩個小時,要看今天開機量,和昨天的對比,再分時段看開機量,兩個小時就過去了。他說系統老死機,我說是查詢太慢了。希望系統可以做大一些。

現階段數據量的變化

白德鑫自己說,樂視的數據量從年初的三個月翻一番,到現在的我寫得稍微早一些,到每周翻一番,現在每天數據量一百G,超級電視以及盒子賣得非常快。從設備行為快速向用戶行為轉變。我的計劃量是多少,賣得多了老百姓開始考慮業務行動,按照互聯網方式做,用戶拿著我的盒子看什么使的,是看電影還是看電視劇,所以這個時候很多用戶行為來分析。現在電視版本和盒子版本一周一個,這個版本每周更新一個系統版本,用戶是不是接受,這些都在樂視這里做分析。

還有一個是樂視在這里做了一些測試,因為在盒子里,樂視叫UI里做一些測試,今天做一個海報推薦,明天加一個分析,看用戶量高還是低。

用戶數據量增長很快,人也沒有,一邊找土豪開發者幫樂視解決這個問題,另外自己要解決這個問題了。看數據分析的人,團隊從內部調,數據分析招聘了一個。還有一個比較牛的是從公司別的部門挖的一個人。從今年年初開始履行,從原有的來進行。最后換成現在的方式。這個是自己在做,研發團隊兩個人,現在也是兩個人。

差不多半年搭成新的,新平臺通過Kafka搭建,通過很多業務系統,點播、第三方的,包括一些日志,存儲數據,以及需要對用戶進行分析的數據。還有一些元數據,進行一些加工、處理。整合之后,其實就是前段所有的請求打到這里。Storme是最后的數據,另外Hodoop寫的已經換了,數據量大以后,換其他的數據庫,剛開始選,公司自己開始做自己的數據庫。通過Hodoop以及數據服務wAD-HOC的搭建、處理,實時查詢、開放數據平臺也做了查詢、進行了報表,對一些實時數據分析系統,還有做了門戶,對各個業務提供數據服務,要調哪些數據。運營商需要知道在四川電信、某個電信部門的視頻點播量。這些都是靠內部挖掘的。

樂視的數據源通過前端的,從三款到六款,所有數據都打到這里,好處是在于跟著開源社區升級系統,依然可以接收數據,不影響業務。后面再隨便操作。數據稍微做一下處理放到STORE,放到數據實時計算、然后進行拆分。現在沒有用PEED,用戶交互是OEE,把多個任務組合,把它放到,最后是一個結果,是一個業務流程的管理工具。

數據輸出之后通過查詢,然后提供給別人,反饋到前端數據。這叫矩陣式的業務。這是進行的測試。服務器兩臺4Core cpu、6G,用戶38萬左右,38萬有效數據。跟官網50萬對比稍微差一些。因為樂視的機器性能比他們差很多。

當時做的時候兩個節點做的,用了一個發送,用的是同步發送,消息格式是兩種,格式是30字節、50字節、200字節。如果30字節38萬,其他數據基本上是在30萬左右。這是單臺數據。單臺差不多30萬。這是樂視的Spout集群,做一些業務拆分,比如有些數據需要組織,點播、心跳的,其實有些消息是隨機的,雖然連續發過來的,但是每臺機器都往外發,把數據寫到里面,比方說播放時長,每個劇播放時長、按時段的數據計算。

這個借用官網的圖,我用的0.9幾,實際上標準是一個,但是樂視怕數據丟失,所以做了兩個,其實做得比較簡單,把數據復制。存的一些數據,這些沒有太多可講的,當時做了一些簡單優化,這個不多說。默認垃圾是關閉的,自動回收,不想讓它自動回收要手工做一些處理。這是Sqoop,原來的數據都在這里存儲,樂視導入集群里,樂視用這個來做。當時做了一些事情,把數據抽取整合。

沒有寫在上面的OLD,包括查詢,有些數據處理處理的中間結果,中間結果到最后沒有,不可能到使用階段。

ROI分析

數據量每個月翻一番,現在不只這個了,樂視原有架構沒辦法滿足新的需求,之前就是日報,現在每天實時數據都很多。Kettle方式數據整合時間越來越長,采用hadoop-Storm方案,不會對數據挖掘產生太大的影響,資源稍微豐富一點,集群不夠使的時候要添加機器,數據每日跑一次,每天晚上12點跑一次收取數據生成報表,到現在實時查詢,時間還是比較長的,五分鐘左右。因特爾給樂視推薦過一個,但是它那個對內存要求太高,暫時做不到。現在都是6G內存服務器。支持硬件設備。

目前還有很多事情要做,其實對樂視來說不同階段選擇不同方案,剛開始初期的時候,一年賣幾萬個盒子,剛開始三千一臺盒子,不可能建十幾個節點的數據。人員流失會導致技術流失。技術儲備和內部自薦比招聘牛人更快。現在招聘也很困難,hadoop圈里人比較少。新業務平臺都要小心對待。否則出問題很難解決。數據這塊還好一些,如果前端沒有,對業務影響很大。

數據安全很重要,樂視有40多T數據,放到兩個備份存儲上。服務器多了就是爽,四臺不夠加八臺,計算量可以很快。

更多信息請查看網站運營
由于各方面情況的不斷調整與變化,易賢網提供的所有考試信息和咨詢回復僅供參考,敬請考生以權威部門公布的正式信息和咨詢為準!
相關閱讀網站運營

2026上岸·考公考編培訓報班

  • 報班類型
  • 姓名
  • 手機號
  • 驗證碼
關于我們 | 聯系我們 | 人才招聘 | 網站聲明 | 網站幫助 | 非正式的簡要咨詢 | 簡要咨詢須知 | 新媒體/短視頻平臺 | 手機站點 | 投訴建議
工業和信息化部備案號:滇ICP備2023014141號-1 云南省教育廳備案號:云教ICP備0901021 滇公網安備53010202001879號 人力資源服務許可證:(云)人服證字(2023)第0102001523號
云南網警備案專用圖標
聯系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關注公眾號:hfpxwx
咨詢QQ:1093837350(9:00—18:00)版權所有:易賢網
云南網警報警專用圖標
中文字幕免费精品_亚洲视频自拍_亚洲综合国产激情另类一区_色综合咪咪久久
国产一区久久久| 香港久久久电影| 欧美激情精品久久久六区热门| 亚洲国产美女| 国产亚洲欧洲997久久综合| 欧美精品一区二区蜜臀亚洲| 久久精品人人做人人综合| 亚洲天堂av电影| 亚洲免费成人av| 91久久夜色精品国产九色| 国产亚洲午夜| 国产亚洲电影| 国产精品有限公司| 国产精品视频999| 国产精品自拍网站| 国产精品久久久久天堂| 欧美午夜激情视频| 欧美日韩日韩| 国产精品久久久久9999高清| 国产精品激情电影| 国产精品国内视频| 欧美性色aⅴ视频一区日韩精品| 欧美mv日韩mv国产网站app| 久久久久久综合| 久久精品在这里| 久久综合色88| 欧美日本久久| 欧美午夜精品伦理| 国产日韩av在线播放| 国内精品久久久久影院色| 激情国产一区| 亚洲精品一区二区三区婷婷月 | 亚洲国产精品久久久| 亚洲经典视频在线观看| 亚洲激情综合| 日韩视频在线你懂得| 亚洲欧美清纯在线制服| 久久精品久久99精品久久| 久久米奇亚洲| 欧美freesex交免费视频| 欧美激情亚洲激情| 国产精品久久毛片a| 精品白丝av| 一区二区高清视频在线观看| 欧美一区二区精品| 欧美成人午夜剧场免费观看| 欧美日韩一区二区在线观看视频| 欧美日韩中文精品| 国产综合色精品一区二区三区| 91久久精品一区二区别| 亚洲一区二区在线免费观看视频 | 亚洲精品免费电影| 亚洲在线国产日韩欧美| 久久久久国色av免费看影院 | 久久精品视频网| 欧美人与性动交cc0o| 国产欧美日韩另类视频免费观看| 亚洲电影免费在线观看| 一本色道久久| 久久人人爽人人爽爽久久| 欧美区视频在线观看| 国产字幕视频一区二区| 在线一区二区日韩| 蜜臀久久久99精品久久久久久| 欧美日韩精品伦理作品在线免费观看| 国产精品一区免费在线观看| 亚洲第一精品福利| 午夜国产精品视频免费体验区| 欧美成人自拍视频| 国际精品欧美精品| 午夜精品理论片| 欧美欧美在线| 亚洲电影有码| 久久亚洲精品视频| 国产一区二区成人| 亚洲欧美在线免费| 国产精品hd| 9色精品在线| 欧美激情一区二区三区全黄| 激情综合色丁香一区二区| 欧美一区久久| 国产精品系列在线| 亚洲影院色无极综合| 欧美日韩一区二区精品| 亚洲精品一二三| 欧美xxx成人| 亚洲国产成人久久综合| 久久成人综合视频| 国产区精品视频| 欧美一区2区三区4区公司二百| 欧美性大战久久久久久久蜜臀 | 中日韩男男gay无套| 欧美承认网站| 亚洲精品字幕| 欧美激情一二三区| 99re6热只有精品免费观看| 欧美激情久久久| 99爱精品视频| 欧美网站在线观看| 亚洲一区二区在线视频| 激情久久久久久久| 亚洲欧美日韩精品在线| 国产精品日韩一区二区| 亚洲欧美国产va在线影院| 国产精品实拍| 久久成人国产精品| 国产一区三区三区| 久久天天狠狠| 在线观看91久久久久久| 欧美凹凸一区二区三区视频| 亚洲免费大片| 国产精品一卡二| 久久免费视频网| 亚洲国产欧美久久| 欧美日韩中文| 久久精品国产免费观看| 亚洲激情欧美| 国产精品大片wwwwww| 欧美一区二区三区免费观看| 在线观看日韩| 欧美日韩一卡| 久久精品30| 日韩午夜av| 国产九区一区在线| 麻豆精品网站| 亚洲一区二区在线免费观看视频| 国产精品视频内| 亚洲二区免费| 国产精品五区| 女人香蕉久久**毛片精品| 一区二区三区毛片| 国产日韩专区在线| 欧美激情一区二区三区四区| 亚洲欧美日韩精品综合在线观看| 在线观看国产精品淫| 欧美日韩一级视频| 久久亚洲精品伦理| 亚洲一区久久久| 91久久精品www人人做人人爽 | 欧美经典一区二区三区| 亚洲欧美国产三级| 亚洲日本久久| 国产亚洲视频在线| 欧美性猛交一区二区三区精品| 久久久噜噜噜久久| 亚洲字幕一区二区| 亚洲人体偷拍| 国内揄拍国内精品久久| 欧美日韩一区二区视频在线观看| 久久精品麻豆| 午夜国产一区| 野花国产精品入口| 91久久国产综合久久蜜月精品| 国产深夜精品福利| 欧美色大人视频| 国产精品人人做人人爽人人添| 久久久精品免费视频| 亚洲欧美日韩另类精品一区二区三区| 亚洲肉体裸体xxxx137| 激情综合网址| 国内精品视频一区| 国产欧美精品| 国产精品久久99| 国产精品白丝av嫩草影院| 欧美激情乱人伦| 欧美多人爱爱视频网站| 蜜臀av一级做a爰片久久| 久久久久久久高潮| 久久精品日韩一区二区三区| 亚洲欧美视频在线| 亚洲欧美日韩国产综合在线| 亚洲性感美女99在线| 99视频精品免费观看| 日韩午夜中文字幕| 亚洲精品网站在线播放gif| 亚洲激情在线激情| 亚洲欧洲午夜| 亚洲精品综合| 一区二区三区免费看| 一区二区不卡在线视频 午夜欧美不卡在 | 99精品国产在热久久| 欧美xxx成人| 欧美亚洲自偷自偷| 午夜精品久久久久久久99樱桃| 亚洲欧洲日本mm| 日韩视频一区二区三区在线播放| 日韩网站在线| 在线观看国产成人av片| 亚洲精品一区二区三区婷婷月| 欧美一区三区二区在线观看| a4yy欧美一区二区三区| 亚洲精品欧美激情| 亚洲日本欧美日韩高观看| 狠狠色狠色综合曰曰| 国产精品嫩草久久久久| 国产精品电影在线观看| 国产人成精品一区二区三| 欧美视频在线一区二区三区| 亚洲国产精品精华液2区45| 狠狠色丁香婷婷综合影院|