百度視頻泛需求檢索數(shù)據(jù)處理子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、本人實(shí)習(xí)期間參與了百度視頻泛需求檢索系統(tǒng)的相關(guān)工作。該系統(tǒng)針對(duì)視頻垂直搜索引擎，為用戶(hù)提供視頻檢索領(lǐng)域的語(yǔ)義搜索服務(wù)，即借助更豐富的語(yǔ)義信息（而非僅僅停留在用戶(hù)輸入的文字本身）理解用戶(hù)搜索的真正意圖。本人主要負(fù)責(zé)泛需求檢索數(shù)據(jù)處理子系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)工作。該子系統(tǒng)負(fù)責(zé)泛需求檢索相關(guān)數(shù)據(jù)的預(yù)處理和數(shù)據(jù)質(zhì)量監(jiān)控工作，同時(shí)也提供泛需求檢索成功失敗情況的統(tǒng)計(jì)功能。該子系統(tǒng)主要包括檢索數(shù)據(jù)預(yù)處理模塊(Alamake)、屏蔽數(shù)據(jù)預(yù)處理模塊(Pc_fil

2、ter)、數(shù)據(jù)監(jiān)控和統(tǒng)計(jì)模塊(Data_monitor)三大模塊和Web交互界面。
　　本人具體工作概括如下:
　　(1)完成了該子系統(tǒng)的需求分析和系統(tǒng)設(shè)計(jì)。通過(guò)與泛需求檢索模塊的開(kāi)發(fā)人員溝通，并結(jié)合原有系統(tǒng)的不足確定數(shù)據(jù)處理子系統(tǒng)的需求。根據(jù)需求確定系統(tǒng)設(shè)計(jì)方案。該系統(tǒng)最終采用倒排索引算法建立索引，并使用Redis+MySQL的方案進(jìn)行數(shù)據(jù)存儲(chǔ);系統(tǒng)采用B/S架構(gòu)使使用者能夠通過(guò)界面便捷的進(jìn)行各項(xiàng)操作。
　　(2)完

3、成系統(tǒng)各模塊的編碼工作。采用HTML、JavaScript等頁(yè)面開(kāi)發(fā)技術(shù)實(shí)現(xiàn)Web接口編碼。使用PHP語(yǔ)言完成核心模塊編碼。采用Mysql與Redis結(jié)合的方式進(jìn)行數(shù)據(jù)存儲(chǔ)。
　　(3)完成系統(tǒng)測(cè)試。系統(tǒng)開(kāi)發(fā)完成后使用原有系統(tǒng)真實(shí)數(shù)據(jù)進(jìn)行各項(xiàng)功能測(cè)試，確保系統(tǒng)功能符合既定需求;對(duì)系統(tǒng)進(jìn)行性能測(cè)試，驗(yàn)證系統(tǒng)能否在可容忍的時(shí)間內(nèi)完成數(shù)據(jù)處理工作。
　　(4)進(jìn)行線上追蹤。該系統(tǒng)上線后觀測(cè)該系統(tǒng)的各項(xiàng)功能及性能能否滿(mǎn)足實(shí)際應(yīng)用的要