視頻網(wǎng)站優(yōu)酷的技術(shù)架構(gòu)揭秘

1、視頻網(wǎng)站優(yōu)酷的技術(shù)架構(gòu)揭秘視頻網(wǎng)站優(yōu)酷的技術(shù)架構(gòu)揭秘八月112011byEugeneLeaveaComment概述概述優(yōu)酷優(yōu)酷作為一家大型視頻網(wǎng)站，擁有海量播放流暢的視頻。我們秉承注重用戶體驗這一產(chǎn)品技術(shù)理念，將絕大部分存儲用在視頻資源上。通過建設(shè)專用的視頻CDN，建立了可自由擴(kuò)展、性能優(yōu)異的架構(gòu)，在提供更好用戶體驗的同時優(yōu)化了存儲資源。在除視頻資源外的其他方面，我們也累積了海量數(shù)據(jù)：僅運(yùn)營數(shù)據(jù)，每天收集到的網(wǎng)站各類訪問日志總量已經(jīng)達(dá)到

2、TB級，經(jīng)分析及壓縮處理后留存下來的歷史運(yùn)營數(shù)據(jù)已達(dá)數(shù)百TB，很快將會達(dá)到PB級，5年后數(shù)據(jù)量將會達(dá)到幾十PB級。如何更好地處理和分析這些海量數(shù)據(jù)，以挖掘出其中的價值？挖掘數(shù)據(jù)中的價值挖掘數(shù)據(jù)中的價值對企業(yè)來說，尤其是對于為用戶提供服務(wù)的行業(yè)，僅提供基礎(chǔ)服務(wù)已經(jīng)越來越難應(yīng)付日趨細(xì)化的商業(yè)模式。如何為用戶提供差異化的優(yōu)質(zhì)服務(wù)成為這類企業(yè)必須解決的問題。而數(shù)據(jù)好比燈塔，能為企業(yè)指引前進(jìn)的方向?；ヂ?lián)網(wǎng)、電信、金融等行業(yè)都在加大數(shù)據(jù)的探索及應(yīng)用

3、力度，這為企業(yè)創(chuàng)造了可觀的經(jīng)濟(jì)效益。對優(yōu)酷而言，通過用戶的每次播放流程，我們都對頁面瀏覽、評論收藏、視頻播放以及播放時的各種操作進(jìn)行了記錄。經(jīng)處理后的分析結(jié)果會反饋給不同的業(yè)務(wù)模塊，對包括產(chǎn)品、內(nèi)容運(yùn)營、用戶的個性化推薦及廣告投放等方面的提升，都起到了關(guān)鍵作用。網(wǎng)站頁面、客戶端的UIUE的設(shè)計及效果，都需要數(shù)據(jù)進(jìn)行支持。通過AB測試系統(tǒng)，我們收集到用戶對不同UI下的操作反饋，進(jìn)而評估UI的改變對用戶的影響。內(nèi)容方面，通過對用戶網(wǎng)絡(luò)情況的

4、統(tǒng)計：每次播放是否發(fā)生了緩沖，平均下載速度是多少等，進(jìn)行實時的統(tǒng)計和計算，獲取每個地區(qū)每個運(yùn)營商下用戶的加載表現(xiàn)，以此來決定CDN節(jié)點(diǎn)的分布和分配策略，為不同地區(qū)、不同運(yùn)營商的用戶提供清晰流暢的視頻服務(wù)。在推薦方面，通過對大量視頻播放行為的分析，歸納不同時長、不同類型、不同內(nèi)容的視頻之間的相互關(guān)聯(lián)，挖掘不同人群用戶的同質(zhì)化觀看習(xí)慣，對每次用戶的觀看進(jìn)行有針對性的后續(xù)推薦，并借助后續(xù)數(shù)據(jù)的分析，迭代地改善現(xiàn)有服務(wù)，為用戶提供量身定制的推送

5、服務(wù)。層出不窮的NoSQL技術(shù)，無疑是現(xiàn)在極其熱門的領(lǐng)域，依托高可用性、高水平擴(kuò)展性、高效存取及支持MapReduce等特性使其在應(yīng)對Web2.0網(wǎng)站時比關(guān)系型數(shù)據(jù)庫更加得心應(yīng)手。目前優(yōu)酷大量數(shù)據(jù)依然存儲在MySQL等平臺上，這是考慮到關(guān)系型數(shù)據(jù)庫大都經(jīng)歷了長時間的實踐檢驗，比較成熟，遵循相同標(biāo)準(zhǔn)，能獲得較好的支持。而且，主流關(guān)系型數(shù)據(jù)庫也都積極嘗試從海量數(shù)據(jù)等方面改進(jìn)產(chǎn)品。此外，NoSQL分KeyValue、document、colu

6、mn、圖等多種類型，特性各不相同，這種總稱屏蔽了彼此之間的差異；而且各NoSQL產(chǎn)品還在不斷變化，甚至API也有所更改，這在技術(shù)掌握上及維護(hù)上成本較高，畢竟找一個懂MySQL及SQL的開發(fā)工程師比找一個MongoDB專家要容易得多。盡管如此，仍阻擋不住我們對NoSQL產(chǎn)品進(jìn)行嘗試的熱情：一方面對不同業(yè)務(wù)應(yīng)用適合的產(chǎn)品，另一方面對同類產(chǎn)品也在做評估對比。目前優(yōu)酷的在線評論業(yè)務(wù)已部分遷移到MongoDB，運(yùn)營數(shù)據(jù)分析及挖掘處理我們在使用Ha

7、doopHBase；在KeyValue產(chǎn)品方面，我們也在尋找更優(yōu)的Memcache替代品，如Redis，相對于Memcache，除了對Value的存儲支持三種不同的數(shù)據(jù)結(jié)構(gòu)外，同一個Key的Value進(jìn)行部分更新也會更適合一些對Value頻繁修改的在線業(yè)務(wù)；同時我們在搜索產(chǎn)品中應(yīng)用了TokyoTyrant；對于Cassra等產(chǎn)品我們也進(jìn)行過研究?？梢哉f，我們會一直持續(xù)關(guān)注NoSQL技術(shù)，未來可能會根據(jù)需要選擇合適的產(chǎn)品應(yīng)用到實際業(yè)務(wù)中。

8、目前NoSQL技術(shù)依然處于發(fā)展階段，只有少數(shù)蘊(yùn)涵優(yōu)秀的技術(shù)，并最終幸免淘汰，與其他數(shù)據(jù)解決方案一起生存下來，未來也許會有新的NoSQL產(chǎn)品出現(xiàn)。開發(fā)人員，尤其是各大公司的技術(shù)團(tuán)隊在使用NoSQL項目的同時，根據(jù)使用經(jīng)驗，會對一些針對特定使用場景的特性及服務(wù)加以抽象并實現(xiàn)，形成類似于基于Hadoop平臺的Pig這類衍生項目。在這方面未來的發(fā)展?jié)摿κ蔷薮蟮模热缭贐I領(lǐng)域，目前的NoSQL產(chǎn)品與現(xiàn)有BI產(chǎn)品幾乎沒有交集。將來一些NoSQL產(chǎn)

9、品應(yīng)該能夠通過現(xiàn)有主流BI產(chǎn)品直接訪問，或者提供自己的BI模塊。類似的功能也許會形成新的標(biāo)準(zhǔn)，顛覆現(xiàn)有開發(fā)模式。機(jī)遇大于挑戰(zhàn)機(jī)遇大于挑戰(zhàn)海量數(shù)據(jù)時代對企業(yè)的影響，并非直接來自數(shù)據(jù)，而在于社會的飛速進(jìn)步及不斷涌現(xiàn)的商業(yè)模式。2007年，微軟CEO鮑爾默說，Google公司現(xiàn)在幾乎是每年翻一番。優(yōu)酷從起步，到刷新5年多來美國IPO最大漲幅紀(jì)錄，只用了短短4年時間。而隨著變革速度不斷加快，各企業(yè)掉隊落伍的可能性已明顯增大。從海量數(shù)據(jù)中挖掘潛在