面向時間敏感對象的垂直搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著搜索服務(wù)的逐漸普及深化，用戶針對特定領(lǐng)域的搜索需求逐漸明確、對搜索結(jié)果的個性化程度和實時性要求逐漸增高，使得基于垂直搜索領(lǐng)域的高效信息檢索服務(wù)已成為搜索引擎市場的熱點。垂直搜索引擎通過聚焦抓取、智能調(diào)度、高維索引等技術(shù)，根據(jù)特定的領(lǐng)域知識和用戶的搜索習(xí)慣，為用戶提供特定垂直領(lǐng)域中時效性更高，更為個性化、專業(yè)化的搜索結(jié)果。
　　 然而現(xiàn)有大多數(shù)的垂直搜索引擎中存在1)爬蟲系統(tǒng)抓取模式被動，目標抓取與用戶查詢時延過長；2)爬蟲系

2、統(tǒng)抓取調(diào)度盲目，抓取資源利用率低；以及3)索引系統(tǒng)性能低下，對特定文本信息的特征提取與聚類缺乏有效算法等問題，已經(jīng)嚴重地桎梏了垂直搜索引擎市場的健康發(fā)展。本文試圖對這些熱點問題及其關(guān)鍵技術(shù)進行系統(tǒng)性研究。本文的主要貢獻和創(chuàng)新點如下：
　　 1.爬蟲系統(tǒng)的主動式聚焦抓取技術(shù)研究
　　 針對爬蟲系統(tǒng)抓取模式被動，目標抓取與用戶查詢時延過長的問題，提出了語義驅(qū)動的查詢驅(qū)動聚焦抓取技術(shù)，基于領(lǐng)域知識理解用戶查詢，提供了查詢向目標

3、網(wǎng)頁的語義轉(zhuǎn)換，實現(xiàn)了針對用戶查詢的主動式抓取，解決了目標抓取與用戶查詢時延過長的問題。充分的實驗和在真實項目中的初步應(yīng)用表明，查詢驅(qū)動聚焦抓取技術(shù)為用戶提供了10秒級搜索結(jié)果，大大降低了時延，極大的提高了用戶體驗。
　　 2.爬蟲系統(tǒng)的智能調(diào)度技術(shù)研究
　　 針對爬蟲系統(tǒng)抓取調(diào)度盲目、利用率低的問題，基于網(wǎng)頁文檔變化的泊松過程建模，在對單個對象新鮮度進行定量估算的基礎(chǔ)上，提出對象級細粒度資源調(diào)度算法PoissonRan

4、k，實現(xiàn)了針對變化的抓取調(diào)度，極大地提高了抓取資源的利用率。仿真分析和商用項目中的應(yīng)用表明了該模型的有效性，該調(diào)度技術(shù)能提高抓取資源利用率并更好的捕捉對象的變化。大量真實環(huán)境中的實驗驗證了對象分布規(guī)律和泊松過程建模的正確性以及用戶體驗的提升，同時PoissonRank對系統(tǒng)帶來的額外開銷很低，具有很高的可擴展性。
　　 3.索引系統(tǒng)中高維索引的在線更新技術(shù)研究
　　 針對索引系統(tǒng)中多媒體高維索引在線更新效率低下的問題，對

5、高維索引中的LSH算法進行優(yōu)化，提出了基于壓縮位圖(Compressed Bitmap)的CB-LSH高維索引技術(shù)，通過算子布爾代數(shù)化后引入壓縮位圖索引對LSH的添刪改性能進行了全面提升，解決了高維索引在線更新的性能問題。理論分析證明了CB-LSH在空間占用和時間復(fù)雜度上的改善；大量真實數(shù)據(jù)上的實驗結(jié)果表明，與現(xiàn)有的LSH算法相比，CB-LSH節(jié)約了三分之一的內(nèi)存占用，刪除性能提高了近一個數(shù)量級，查詢性能提高了數(shù)倍，插入性能提高了約一半

6、；真實項目驗證了CB-LSH應(yīng)用于在線實時更新的海量多媒體對象檢索系統(tǒng)中是有效可行的。
　　 4.索引系統(tǒng)中文本信息的結(jié)果合并技術(shù)研究
　　 針對垂直領(lǐng)域中文本信息長度短、專業(yè)性強、噪音多，索引系統(tǒng)中聚類效果差的問題，提出了一種基于自然語言觸發(fā)對的文本聚類技術(shù)TrigSigs，基于一階觸發(fā)對充分挖掘詞匯隱含屬性的關(guān)聯(lián)關(guān)系，學(xué)習(xí)領(lǐng)域?qū)I(yè)詞匯、去除噪音詞匯并提取關(guān)鍵特征詞匯，實現(xiàn)了細粒度對象級聚類技術(shù)。仿真實驗表明，該算法可