基于大規(guī)模類別體系的網(wǎng)頁分類及在商品分類中的應用研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)信息技術的廣泛應用，電子文本不斷地快速累積，數(shù)量大到難以對它們進行有效地管理與利用。因此，管理信息系統(tǒng)中對文本分類自動化的需求也就越來越迫切。如何利用自動化的技術快速有效地協(xié)助人們對文本文件、網(wǎng)頁數(shù)據(jù)等進行分類已經(jīng)成均當前信息服務與知識管理方面的重要課題。
　　 自動分類可以減少人工勞動的工作量，在實際應用中至少可以節(jié)省一半以上的人力。對用戶而言，自動分類的結果可以視為一種分類提示，這對于減輕人工分析文本、人工

2、文本歸類方面的工作有相當大的幫助。本文從商品網(wǎng)頁角度切入，主要針對互聯(lián)網(wǎng)商品數(shù)據(jù)信息管理領域做了以下幾個方面的工作：
　　 1、基于大規(guī)模類別體系的數(shù)據(jù)采集工作。網(wǎng)絡中的數(shù)據(jù)量龐大且數(shù)據(jù)分布相對分散，大部分的網(wǎng)頁都沒有經(jīng)過標注，特定領域的信息也不易獲取，這就使得在大規(guī)模類別體系下，網(wǎng)頁分類算法實驗數(shù)據(jù)的組織與評價方式多種多樣，而且數(shù)據(jù)規(guī)模都較小，數(shù)據(jù)集質(zhì)量也比較差。因此，做好基于大規(guī)模類別體系的數(shù)據(jù)采集工作，形成一個大規(guī)模基準數(shù)

3、據(jù)集會給研究者帶來很大幫助。本文提出了一種基于類別分布的采集策略，并在此基礎上設計一個大規(guī)模采集系統(tǒng)，支持并行方式爬行站點，通過提交一組待采集的網(wǎng)頁URL地址開始收集數(shù)據(jù)。對于特定領域如淘寶網(wǎng)的數(shù)據(jù)采集，我們針對網(wǎng)站的個性化設置編寫符合網(wǎng)站設計的定向爬蟲來抓取所需的特定信息。
　　 2、基于跨文檔關系的網(wǎng)頁分類研究。面對大規(guī)模類別體系，層次類別研究策略是一個很好的選擇。但在文本分類研究中的層次分類研究中多數(shù)利用文檔自身的詞語集合

4、，而忽略了其中文檔間的鏈接關系。本文從文檔間的特殊關系，如父子關系、兄弟節(jié)點關系等入手，進行大類別數(shù)即大規(guī)模類別情況下的文本層次分類研究。
　　 3、基于層次類別體系的商品分類研究。在電子商務交易中，類別都是按照商品間一個樹狀層次結構來進行分類的。在進行商品分類研究時，考慮到商品的特殊特征，比如某些商品根據(jù)商品的品牌名稱就可以得到其所屬的分類類別，即其品牌的特征性區(qū)分度很高。基于這一點，我們在研究中準備了一部描述商品品牌的詞典供