特定領(lǐng)域文本分類系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著信息技術(shù)的迅速發(fā)展，各種學科的信息也在隨之迅速膨脹，人們迫切需要這些特定領(lǐng)域的信息檢索與管理工具，特定領(lǐng)域文本分類成為當前研究熱點。目前，特定領(lǐng)域文本分類主要是在傳統(tǒng)文本分類的基礎(chǔ)上，利用已有的特定領(lǐng)域知識庫擴展文檔特征。如何提取領(lǐng)域相關(guān)特征是其主要難點之一。 本文綜述了現(xiàn)有特定領(lǐng)域文本分類系統(tǒng)，詳細介紹了特定領(lǐng)域文本分類系統(tǒng)的設(shè)計思想與實現(xiàn)細節(jié)，設(shè)計并實現(xiàn)了一套特定領(lǐng)域文本分類系統(tǒng)，針對如何提取領(lǐng)域相關(guān)特征的問題，提出了一

2、種基于領(lǐng)域相關(guān)術(shù)語提取的特征選擇方法，改進了術(shù)語提取方法，并且分析了各系統(tǒng)組成部分。本文的工作主要包括： ·本文綜述了現(xiàn)有特定領(lǐng)域文本分類系統(tǒng)，提出了特定領(lǐng)域文本分類系統(tǒng)的體系結(jié)構(gòu)。 ·本文提出了一種基于領(lǐng)域相關(guān)術(shù)語提取的特征選擇方法，該方法具有以下優(yōu)點：(1)提取出來的特征與領(lǐng)域密切相關(guān)，提高了分類效果；(2)大大降低了特征空間維數(shù)，提高了系統(tǒng)運行性能；(3)由于該方法使用基于語料庫對比的術(shù)語提取方法，不依賴任何特定領(lǐng)

3、域知識庫，從而使系統(tǒng)具有很強的通用性，能輕松應用于各個領(lǐng)域。 ·本文根據(jù)詞語搭配分布，改進了傳統(tǒng)的基于語料庫對比的術(shù)語提取方法，使術(shù)語提取方法兼顧了對語言結(jié)構(gòu)的分析。 ·本文詳細分析了預處理、特征選擇、二級分類器等系統(tǒng)組成部分對分類效果及系統(tǒng)性能的影響。 ·本文設(shè)計并實現(xiàn)了一套具有很強通用性的特定領(lǐng)域文本分類系統(tǒng)，該系統(tǒng)參加了TREC2005Genomics項目Categorization任務(wù)的評測，在四個子任務(wù)