文本分類語(yǔ)料庫(kù)自動(dòng)構(gòu)建系統(tǒng)的研究與改進(jìn).pdf

1、語(yǔ)料庫(kù)與自然語(yǔ)言信息處理有著相輔相成的關(guān)系，語(yǔ)料庫(kù)是用統(tǒng)計(jì)語(yǔ)言模型方法處理自然語(yǔ)言的基礎(chǔ)資源，它的建設(shè)和應(yīng)用一直是語(yǔ)言處理領(lǐng)域的重要論題之一。目前我國(guó)在中文語(yǔ)料庫(kù)的建設(shè)和應(yīng)用上取得了不少的成果，其中一些也可以利用在文本分類領(lǐng)域。但隨著信息處理技術(shù)的快速發(fā)展，語(yǔ)言信息處理領(lǐng)域內(nèi)的各類應(yīng)用需要大量的專業(yè)性強(qiáng)的文本分類語(yǔ)料庫(kù)，而傳統(tǒng)的語(yǔ)料庫(kù)構(gòu)建方法在時(shí)效性、專業(yè)性等方面并不能完全滿足這些需求，因此文本分類語(yǔ)料庫(kù)的構(gòu)建已經(jīng)成為一個(gè)十分重要的研究

2、課題。
　　 本文主要研究并優(yōu)化了一種自動(dòng)構(gòu)建中文文本分類語(yǔ)料庫(kù)的方法，具體工作主要包括以下幾個(gè)方面：
　　 1、分析研究了一個(gè)計(jì)算機(jī)語(yǔ)料庫(kù)自動(dòng)構(gòu)建原型系統(tǒng)，熟悉理解了計(jì)算機(jī)語(yǔ)料庫(kù)的相關(guān)理論以及該自動(dòng)構(gòu)建系統(tǒng)的設(shè)計(jì)思想與具體實(shí)現(xiàn)方法，在研究分析的基礎(chǔ)上總結(jié)出了針對(duì)該原型系統(tǒng)的一些優(yōu)化思路。
　　 2、研究并實(shí)現(xiàn)了一種基于網(wǎng)頁(yè)密度特征的正文抽取方法。該方法通過(guò)將網(wǎng)頁(yè)解析成文本塊集，并計(jì)算所有文本塊的密度特征后，使用

3、決策樹(shù)算法構(gòu)建文本塊的分類預(yù)測(cè)模型，然后根據(jù)這個(gè)分類模型識(shí)別分類網(wǎng)頁(yè)的文本塊，從而過(guò)濾出識(shí)別為正文塊的文本塊，構(gòu)建成網(wǎng)頁(yè)的正文信息。
　　 3、分析了網(wǎng)頁(yè)消重的相關(guān)技術(shù)及現(xiàn)有的網(wǎng)頁(yè)消重算法并簡(jiǎn)單比較了它們的優(yōu)缺點(diǎn)，最后研究了一個(gè)基于Shingling的網(wǎng)頁(yè)消重改進(jìn)方法。該改進(jìn)方法通過(guò)抽取網(wǎng)頁(yè)的正文信息并轉(zhuǎn)換成相應(yīng)的文本文檔，再利用詞性屬性提取出有實(shí)際語(yǔ)義的實(shí)詞來(lái)表示文檔，最后根據(jù)表示文檔的特征項(xiàng)集合的元素個(gè)數(shù)之間的比值將待計(jì)算相