基于URL模式的網頁分類算法研究.pdf

1、隨著互聯(lián)網和移動互聯(lián)網的快速發(fā)展，如何高效地組織和管理海量的網頁信息越來越成為棘手的問題。網頁分類研究作為Web挖掘的一個基礎步驟，在搜索引擎、主題爬蟲和維護目錄式網站等許多應用中均發(fā)揮著重要作用。
　　基于內容的網頁分類技術大多從網頁內容、超鏈接結構和鄰居節(jié)點等信息中抽取出大量特征，然后使用有監(jiān)督學習方法進行分類。而只基于URL的網頁分類技術則僅基于網頁URL信息進行分類。雖然網頁分類技術已經被大量研究過，但是已有方法過于依賴特

2、征工程，訓練所需時間代價較大，而且不能較好地處理數(shù)據中的噪音問題。另外，現(xiàn)有方法未考慮增量學習情形，該問題在訓練數(shù)據流式產生的情景中尤為突出。
　　在本文中，我們引入模式樹的思想并加以改進，提出了UPCA算法。根據特定類型網頁的訓練集，通過模式樹的構建和模式規(guī)則的提取，我們可以獲得該類型網頁URL所遵循的通用模式庫。模式庫可以代表對應類型網頁URL集合的結構特點。對于新來的網頁，我們只需將網頁URL和已得到的模式庫匹配來判斷網頁是