關于詞頻倒排文檔頻公式的修正.pdf

1、向量空間模型(VSM)是文本信息處理的經(jīng)典模型，它把文本用向量表示，以特征項的權值作為分量，這個架構很大程度上提高了信息處理的性能。模型中廣泛用到的計算特征項權值的公式是標準化的詞頻倒排文檔頻(TFIDF)公式。 研究發(fā)現(xiàn)，向量空間模型并不是一個完善的模型，其最大的缺陷是假設特征項之間是相互獨立的。這使得用向量空間模型表示文本集時，很可能造成信息遺漏或冗余。此外TFIDF公式同樣不夠準確，它簡單地認為特征項權值與包含該特征項的文

2、檔數(shù)成反比，而沒有考慮特征項分布的比例情況。 本文使用中文信息處理工具從中文文本集中抽取詞條，并通過知網(wǎng)系統(tǒng)把詞條空間映射到概念空間。用概念代替詞條作為特征項的方法間接達到了降維目的，并在很大程度上消除了向量空間模型特征項之間的相關性。 文本的一個主要研究內(nèi)容是對TFIDF公式進行修正?；诜植急壤叩奶卣黜椌哂休^高的貢獻度和特征項在文本集中分布越離散則代表性越強這兩方面的考慮，本文構造了一個平衡因子BF，并將其加權到T