基于Web挖掘的紡織專(zhuān)業(yè)搜索引擎設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)上的信息以幾何級(jí)數(shù)的速度膨脹，為了從紛繁蕪雜的信息海洋中找到有用的信息，人們借助搜索引擎搜尋所需信息。Yahoo、Google、Baidu等就是比較有代表性的搜索引擎。可是這種通用搜索引擎無(wú)法滿(mǎn)足人們對(duì)專(zhuān)題性信息的需求。因此需要研究開(kāi)發(fā)面向特定領(lǐng)域的專(zhuān)業(yè)搜索引擎來(lái)對(duì)專(zhuān)業(yè)領(lǐng)域信息進(jìn)行檢索。 本文設(shè)計(jì)了一個(gè)紡織專(zhuān)業(yè)搜索引擎系統(tǒng)，詳細(xì)設(shè)計(jì)了系統(tǒng)中的重要模塊并對(duì)模塊中的關(guān)鍵技術(shù)進(jìn)行了研究。本文的研究?jī)?nèi)容如下： 1、給出了紡

2、織專(zhuān)業(yè)主題爬行器的詳細(xì)設(shè)計(jì) 提高主題爬行器的效率問(wèn)題。一方面通過(guò)協(xié)調(diào)器對(duì)網(wǎng)絡(luò)爬蟲(chóng)抓取的URL按照一定規(guī)則進(jìn)行調(diào)度，避免了由于網(wǎng)絡(luò)爬蟲(chóng)的負(fù)載不平衡造成的資源分配不均；另一方面在掃描網(wǎng)頁(yè)源代碼獲取抓取的URL的同時(shí)，設(shè)計(jì)目標(biāo)網(wǎng)頁(yè)內(nèi)容過(guò)濾/預(yù)測(cè)模型來(lái)確定待采頁(yè)面，對(duì)網(wǎng)頁(yè)所含的超鏈接進(jìn)行剪切與分類(lèi)，按照相關(guān)鏈接采集、不相關(guān)鏈接直接丟棄的原則進(jìn)行剪枝處理，減少網(wǎng)絡(luò)蜘蛛頁(yè)面采集的工作量。 2、針對(duì)主題爬行器中涉及的文本分類(lèi)技術(shù)進(jìn)行了

3、改進(jìn)。 在向量空間模型表示網(wǎng)頁(yè)文本時(shí)，特征項(xiàng)在文本集合中位置分布的不同會(huì)引起權(quán)值的差異的問(wèn)題。針對(duì)此問(wèn)題本文改進(jìn)了特征項(xiàng)權(quán)值的計(jì)算公式以更好的體現(xiàn)網(wǎng)頁(yè)的結(jié)構(gòu)特征。傳統(tǒng)的K最近鄰分類(lèi)方法存在一個(gè)很致命的問(wèn)題就是如果訓(xùn)練集的數(shù)據(jù)量很大，該方法很難實(shí)現(xiàn)全局的最優(yōu)搜索，為了加速K個(gè)最近鄰的搜索，本文采用了一種基于K最近鄰的快速文本分類(lèi)方法，使在海量數(shù)據(jù)集中進(jìn)行快速有效分類(lèi)成為可能。 3、對(duì)檢索器中的網(wǎng)頁(yè)排序算法進(jìn)行了改進(jìn)