基于對象的領(lǐng)域搜索.pdf

1、萬維網(wǎng)（World Wide Web）信息的爆炸性增長使Web已經(jīng)成為世界上最大的信息庫。面對這個海量、異構(gòu)、半結(jié)構(gòu)化的信息庫，Web用戶經(jīng)常發(fā)現(xiàn)要查找到所需的信息需要耗費大量的精力，甚至難以找到，造成了“信息過載，知識匱乏”的問題。為了解決這個問題，在Web信息檢索領(lǐng)域產(chǎn)生了一個新的研究課題，領(lǐng)域搜索引擎。它的基本思想可以概括為：與通用的搜索引擎不同，只對一個特定領(lǐng)域內(nèi)的網(wǎng)頁集合，以方便、有效的檢索方式滿足用戶的信息檢索需求。它的理論

2、和技術(shù)基礎(chǔ)主要包括機器學(xué)習(xí)、信息檢索、概率統(tǒng)計理論和Web新技術(shù)。在很多應(yīng)用領(lǐng)域，例如學(xué)術(shù)搜索，電子商務(wù)搜索，都有很好的應(yīng)用前景，與現(xiàn)有的Web搜索引擎可以形成良好的互補。 基于對象的領(lǐng)域搜索是微軟亞洲研究院在2005年的萬維網(wǎng)大會(World Wide Web Conference 2005)上提出的新理念。這一理念融合了數(shù)據(jù)庫和信息檢索這兩個領(lǐng)域的主要技術(shù)，認為當(dāng)一個搜索引擎只集中于處理一個特定領(lǐng)域的Web頁面的話，應(yīng)該能

3、夠提供比基于頁面的搜索更好的服務(wù)，可以有相對自動化的方法從Web頁面中獲得這個特定領(lǐng)域所關(guān)心的對象，提供對象一級的搜索。 本文將對基于對象的領(lǐng)域搜索引擎的數(shù)據(jù)倉庫型的解決方案進行討論，對幾大核心技術(shù)進行分析，包括對象的抽取，對象的集成，對象的搜索，以及領(lǐng)域搜索引擎的聚焦爬蟲。同時，本文通過對兩個領(lǐng)域的數(shù)據(jù)集的實驗，旅游和學(xué)術(shù)搜索，來研究一些新技術(shù)的可行性，包括對象的識別，對象的搜索，以及領(lǐng)域搜索的聚焦爬蟲。 本文的主要

4、創(chuàng)新工作在于以下幾方面： 1. 首先，在分析了現(xiàn)有主題爬蟲由于缺少增量學(xué)習(xí)能力而影響系統(tǒng)性能的基礎(chǔ)上，本文提出了基于增量學(xué)習(xí)的主題爬蟲系統(tǒng)，使頁面分類器和超鏈接評價器具有增強學(xué)習(xí)能力，改進了現(xiàn)有的主題爬蟲的體系結(jié)構(gòu)，使主題爬蟲在爬行過程中能夠在線的學(xué)習(xí)，具有更強的自適應(yīng)性，快速優(yōu)化爬行策略； 2. 對象識別是提供高質(zhì)量的Web對象的基礎(chǔ)，因此對象識別的準(zhǔn)確率對于基于對象的領(lǐng)域搜索至關(guān)重要。現(xiàn)有的方法主要集中在利用對象的

5、屬性信息來解決對象識別的問題，本文對一種新的對象識別的方法進行了研究，即利用本地數(shù)據(jù)集上的實體關(guān)系的連通性來解決對象識別。此外，本文還提出了利用無結(jié)構(gòu)化的Web文檔集來輔助本地數(shù)據(jù)集的對象識別，并通過再DBLP的實驗中看到了準(zhǔn)確率有較大的提高； 3. 基于對象的檢索比一般的網(wǎng)頁檢索提出了更高的檢索精度要求，因此有必要提出高質(zhì)量的Web檢索算法。與網(wǎng)頁中的一般文本不同，錨文本是一種較為客觀的文本，對錨文本相似性的研究與同樣的超鏈