基于論壇關鍵字搜索的改進TF-IDF算法及其應用.pdf

1、伴隨互聯網的發(fā)展，網絡在人們的生活中扮演著越來越重要的角色。論壇作為互聯網時代的產物雨后春筍般的出現，如滾雪球般快速的發(fā)展并且壯大。各類論壇幾乎包括了與人們息息相關的方方面面，所有人都可能找到各自喜歡的論壇，而且各類型的站點也都傾向于架設與自己相關的論壇，這樣既可以有助于與用戶溝通，也能讓用戶之間有更多的互動，同時又增加了站點的內容。論壇是一個有概括性質的類，它的里面包含很多的版塊，網友數量多，所以發(fā)布的帖子數量巨大。如何能夠快速找到自

2、己需要的帖子，最常用的方法是在搜索框中輸入關鍵字進行檢索。但是，如何提高在論壇中關鍵詞搜索的準確率與速度，這和文本的分詞與關鍵詞權重的計算有很大關系。
　　原始的TF-IDF關鍵詞權重計算方法，雖然公式結構簡單，算法運行時間也短，但是關鍵詞抽取的結果并不準確，特別是針對論壇的帖子內容，提取的關鍵詞對帖子的內容往往起不到關鍵性的作用，直接影響到搜索效率。
　　為了提高關鍵詞搜索系統(tǒng)的性能，針對帖子文本多由生活語言構成和文本結構

3、簡單的特點，加之回帖較為簡單且多為毫無意義的灌水貼，很難將回帖進行區(qū)分，干擾明顯，本文在關鍵詞提取中對TF-IDF進行了改進。主要方法有：
　　(1)在帖子分類時，針對瑤湖論壇計算出一些帖子之間的余弦值，在已有理論的基礎上，進行人工觀察，當發(fā)現帖子文本表現出關聯性時，這個值高于0.18，我們將0.18設為帖子分類的閥值。
　　(2)為了增強分詞器的分詞效果，我們在系統(tǒng)中增加了停止詞詞典和關鍵詞詞典，并且可以修改詞典。分詞后通

4、過與兩個詞典的對比，就能判斷哪些詞可以忽略掉，哪些詞具有代表性。
　　(3)充分考慮帖子的結構特征，只考慮帖子的題目和原帖的內容，并引入關鍵系數這個概念，對TF-IDF公式進行修改。
　　(4)為了使我們提取的詞具有較好的代表性，我們對所得關鍵詞的權重值設定一個閥值，只有提取詞的TF-IDF值大于這個閥值時，才認為是關鍵詞，否則就忽略掉。
　　在此基礎之上我們設計并實現了以瑤湖論壇為背景的關鍵詞搜索系統(tǒng)，該系統(tǒng)主要分為