Deep Web數(shù)據(jù)源發(fā)現(xiàn)和選擇研究.pdf

1、隨著Internet信息的迅速增長,Deep Web數(shù)據(jù)資源的數(shù)量急劇增加。然而,這些數(shù)據(jù)信息只能通過動態(tài)查詢響應(yīng)來獲取,不容易被傳統(tǒng)的搜索引擎如Google、百度搜索到,因此并未得到充分的利用。因此,探索和研究支持Deep Web查詢搜索引擎從而滿足實際用戶的廣泛需求,成為信息領(lǐng)域研究的重點。由于Deep Web的自身特點,實現(xiàn)其數(shù)據(jù)資源集成在技術(shù)上存在很大難度。
　　 為了發(fā)現(xiàn)和集成這些Deep Web資源,本文首先分析了D

2、eep Web國內(nèi)外研究現(xiàn)狀,提出了Deep Web數(shù)據(jù)集成系統(tǒng)框架,分析了其主要的四種機制:知識庫構(gòu)建機制、查詢處理機制、查詢轉(zhuǎn)換機制和結(jié)果集成機制,并闡述了Deep Web集成的難點。其次,本文闡述了Deep Web爬蟲框架,通過分析接口類型和表單處理機制,包括表單解析、表單特征提取、表單模式匹配和表單聚類和分類,結(jié)合數(shù)據(jù)源接口發(fā)現(xiàn)四層模型,提出了基于領(lǐng)域的表單爬蟲框架DeepRunner,提出基于領(lǐng)域的Deep Web數(shù)據(jù)源發(fā)現(xiàn)算

3、法DOER來獲取領(lǐng)域數(shù)據(jù)源。本文從理論上闡述Deep Web的屬性分布和問題描述,分析了Top-k查詢技術(shù)和主流算法,結(jié)合Top-k算法的優(yōu)點,提出了基于屬性支配模式增長算法的Top-k數(shù)據(jù)源選擇策略,并且結(jié)合屬性間共現(xiàn)度特征,進(jìn)一步改進(jìn)算法,提高了算法執(zhí)行的查準(zhǔn)率和查全率,從而提高了用戶查詢服務(wù)的質(zhì)量。最后,本文闡述Deep Web查詢轉(zhuǎn)換和查詢結(jié)果集成機制。
　　 實驗表明,本文的DeepRunner框架可以獲取Deep W