針對(duì)互聯(lián)網(wǎng)公共服務(wù)的搜索引擎關(guān)鍵技術(shù)研究.pdf

1、進(jìn)入21世紀(jì)，面向服務(wù)架構(gòu)(SOA)被視作是企業(yè)應(yīng)用開(kāi)發(fā)中的重要架構(gòu)而得到長(zhǎng)足的發(fā)展。起初，SOA僅僅是作為企業(yè)內(nèi)部應(yīng)用的架構(gòu)模式，各應(yīng)用通過(guò)服務(wù)的提供與消費(fèi)來(lái)降低耦合。隨著互聯(lián)網(wǎng)的高速發(fā)展，有相當(dāng)多的社區(qū)和公共組織將其業(yè)務(wù)以服務(wù)的形式發(fā)布到互聯(lián)網(wǎng)上。這類互聯(lián)網(wǎng)公共服務(wù)并不像Web Service規(guī)范下有著嚴(yán)格的描述規(guī)則，而是由服務(wù)提供者自行編寫(xiě)一篇HTML文檔進(jìn)行描述。
　　為了能夠有效發(fā)現(xiàn)并檢索這些服務(wù)，本文對(duì)面向互聯(lián)網(wǎng)公共服

2、務(wù)的搜索引擎技術(shù)進(jìn)行了深入的研究。針對(duì)互聯(lián)網(wǎng)公共服務(wù)的發(fā)現(xiàn)、索引、檢索三大問(wèn)題，本文主要研究工作及關(guān)鍵技術(shù)包括:
　　(1)互聯(lián)網(wǎng)公共服務(wù)發(fā)現(xiàn)爬蟲(chóng)的研究?；ヂ?lián)網(wǎng)公共服務(wù)發(fā)現(xiàn)爬蟲(chóng)解決了互聯(lián)網(wǎng)公共服務(wù)的發(fā)現(xiàn)問(wèn)題，它通過(guò)互聯(lián)網(wǎng)公共服務(wù)描述文檔來(lái)發(fā)現(xiàn)服務(wù)。針對(duì)互聯(lián)網(wǎng)公共服務(wù)描述文檔多由網(wǎng)頁(yè)腳本生成的特點(diǎn)，本文基于瀏覽器內(nèi)核改進(jìn)了簡(jiǎn)單網(wǎng)絡(luò)爬蟲(chóng)并提出了服務(wù)參數(shù)返回值示例過(guò)濾方法，解決了文檔內(nèi)容獲取不準(zhǔn)確的問(wèn)題。為了使網(wǎng)絡(luò)爬蟲(chóng)能識(shí)別互聯(lián)網(wǎng)公共服

3、務(wù)描述文檔，考察了多種分類算法，測(cè)定了最合適的算法及參數(shù)。
　　(2)互聯(lián)網(wǎng)公共服務(wù)索引技術(shù)的研究?；ヂ?lián)網(wǎng)公共服務(wù)索引技術(shù)解決了互聯(lián)網(wǎng)公共服務(wù)的索引問(wèn)題，同時(shí)給互聯(lián)網(wǎng)公共服務(wù)的檢索問(wèn)題提供支撐。本文采用的是詞-文檔矩陣作為互聯(lián)網(wǎng)公共服務(wù)的索引機(jī)制。針對(duì)搜索引擎環(huán)境下詞-文檔矩陣為一個(gè)稀疏矩陣的問(wèn)題，本文改進(jìn)了詞-文檔矩陣，設(shè)計(jì)了一種壓縮存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)，減少了存儲(chǔ)空間消耗。同時(shí)，本文針對(duì)該壓縮存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)了壓縮詞-文檔矩陣的轉(zhuǎn)

4、置算法，仍然能夠保證搜索時(shí)的性能。
　　(3)用戶搜索請(qǐng)求處理與執(zhí)行的研究。用戶搜索請(qǐng)求處理與執(zhí)行解決了互聯(lián)網(wǎng)公共服務(wù)的搜索問(wèn)題。本文通過(guò)分詞、匹配、結(jié)果合并排序三個(gè)步驟處理用戶以自然語(yǔ)言提出的搜索請(qǐng)求。其中在結(jié)果合并排序階段，本文改進(jìn)了基于TF-IDF值和值的方法，設(shè)計(jì)了基于TF-IDF值均值以及標(biāo)準(zhǔn)差的排序方法，與普通搜索引擎的結(jié)果排序方法相比，能夠更加準(zhǔn)確地返回戶需要的互聯(lián)網(wǎng)公共服務(wù)。
　　(4)在上述研究成果的基礎(chǔ)上