面向刑偵網(wǎng)頁的信息抽取與主題爬蟲應(yīng)用研究.pdf

1、目前公安信息網(wǎng)上蘊(yùn)含了大量的信息，但通過人工瀏覽的方法很難做到對(duì)信息的全面瀏覽、整理，很多有用信息也就白白流失，產(chǎn)生了大量信息不能及時(shí)應(yīng)用的矛盾，不利于案件偵破。針對(duì)這類問題，本文結(jié)合公安信息網(wǎng)和刑偵網(wǎng)頁的特征，運(yùn)用信息抽取和主題爬蟲技術(shù)，設(shè)計(jì)和實(shí)現(xiàn)了專門搜集公安信息網(wǎng)上刑偵網(wǎng)頁的主題爬蟲。 本文首先對(duì)網(wǎng)頁HTML標(biāo)簽文檔進(jìn)行基于容器標(biāo)簽的劃分，構(gòu)造網(wǎng)頁的粗粒度劃分DOM樹模型表示，通過文本語義分析，獲取網(wǎng)頁和語義塊的特征向量作

2、為網(wǎng)頁的量化表示。在網(wǎng)頁表示的基礎(chǔ)上，本文給出了基于分塊的網(wǎng)頁主題信息抽取算法獲取不同類型網(wǎng)頁的主題信息，實(shí)驗(yàn)表明該算法能夠有效抽取網(wǎng)頁主題信息。然后本文針對(duì)原始的PageRank算法爬行網(wǎng)頁時(shí)容易發(fā)生主題漂移的問題，通過提取鏈接描述文檔，給出了結(jié)合鏈接主題相關(guān)度的PageRank算法對(duì)鏈接重要度進(jìn)行評(píng)價(jià)，但由于爬行過程中，主題爬蟲只能獲取整個(gè)網(wǎng)絡(luò)鏈接結(jié)構(gòu)圖的部分信息，使得非主題的權(quán)威型網(wǎng)頁獲取了更高的PageRank值，改進(jìn)的Page

3、Rank算法并沒有獲得期望的爬行性能。因此本文進(jìn)一步給出了自適應(yīng)的鏈接重要度評(píng)價(jià)算法，在主題爬蟲運(yùn)行初期主要基于鏈接主題相關(guān)度對(duì)鏈接重要度進(jìn)行評(píng)價(jià)，隨著爬行進(jìn)行，逐漸提高鏈接結(jié)構(gòu)重要度的權(quán)重。針對(duì)公安信息網(wǎng)內(nèi)的刑偵網(wǎng)頁搜集實(shí)驗(yàn)表明，自適應(yīng)的鏈接重要評(píng)價(jià)算法雖然爬行周期稍有增加，但時(shí)間復(fù)雜度仍和改進(jìn)的PageRank算法處于同一數(shù)量級(jí)，而且由于具有更高的搜索精度，因此能通過搜集較少的無關(guān)頁面找到較多的主題網(wǎng)頁。 應(yīng)用網(wǎng)頁主題信息抽