主題型網(wǎng)頁的信息抽取技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)絡(luò)技術(shù)的發(fā)展，萬維網(wǎng)作為一種新興的信息媒介已經(jīng)越來越多的滲入到社會的經(jīng)濟、文化、教育以及娛樂等各個領(lǐng)域，并作為其中的重要組成部分，改變著我們的工作和生活。主題型網(wǎng)頁作為萬維網(wǎng)中最主要的網(wǎng)頁類型之一，主要包括了新聞網(wǎng)頁、論壇(BBS)、博客三種類型的網(wǎng)頁，其中的論壇和博客網(wǎng)頁，由于它們包含了豐富的社會輿論信息和各個領(lǐng)域的知識，如同一個巨大的信息庫，而受到了人們廣泛的關(guān)注。因此，研究針對主題型網(wǎng)頁的信息抽取技術(shù)將有助于人們更充分的

2、利用這個信息庫，無論是對社會學的研究、或是對網(wǎng)絡(luò)輿情收集還是進行數(shù)據(jù)挖掘、知識發(fā)現(xiàn)都具有重要的貢獻意義。
　　 本文在主題型網(wǎng)頁信息提取方面做了以下研究：
　　 (1)本文提出了一種估算網(wǎng)頁圖片信息量和圖片有效信息量的方法，并以此為基礎(chǔ)提出了一個基于圖文信息量的網(wǎng)頁正文定位算法。通過對網(wǎng)頁中最小正文子樹的定位，以達到去除網(wǎng)頁中的噪音的目的，并且通過實驗驗證了該算法具有較好的去除網(wǎng)頁噪音的效果。
　　 (2)針對以