基于Google Web API的中文訓(xùn)練庫自動獲取方法研究與實現(xiàn).pdf

1、目前，隨著網(wǎng)絡(luò)技術(shù)的翻天覆地的發(fā)展變化，互聯(lián)網(wǎng)上的信息資源日益豐富，已經(jīng)成為人們在日常生活、學(xué)習(xí)和工作中快速獲取信息的重要途徑。因此，如何有效地處理網(wǎng)上信息，成為信息處理領(lǐng)域一個很重要的研究課題，有效的方法是對網(wǎng)頁進行自動分類處理，然而，大部分的研究者都是在自己建立的訓(xùn)練庫上做測試得出結(jié)論。分類算法的分類性能和訓(xùn)練庫之間相關(guān)，高質(zhì)量的訓(xùn)練庫會使分類器得到比較好的分類性能。 在本文中，主要研究訓(xùn)練庫自動獲取的方法。雖然對訓(xùn)練庫的研

2、究很少，但是有幾個方面的原因說明它是值得研究。 首先，如果訓(xùn)練庫的建立過程能夠自動實現(xiàn)，特別是訓(xùn)練樣本能夠自動獲取，將提高訓(xùn)練庫建立的速度，將減輕人們的工作量，加快分類的速度。 其次，對于普通用戶也能迅速建立起自己所需要的訓(xùn)練庫，將減少人們在整個分類過程中手工參與的程度。 最后，將建立的訓(xùn)練庫和分類效果比較好的分類算法結(jié)合在一起，能提高分類的準(zhǔn)確率，同時也能對訓(xùn)練庫進一步的改進和提高。 對于訓(xùn)練庫的自動獲

3、取，本文主要做了以下幾個方面的工作： (1)針對傳統(tǒng)的手工獲取訓(xùn)練網(wǎng)頁，本文提出了基于Google Web API的方法來收集網(wǎng)頁作為訓(xùn)練樣本，快速獲取網(wǎng)頁，減少人們的工作量。 (2)改造了傳統(tǒng)的訓(xùn)練庫結(jié)構(gòu)，傳統(tǒng)訓(xùn)練庫中的類是并列的，改進為具有類層次結(jié)構(gòu)的，并且盡量把訓(xùn)練庫中所有的類都具有層次結(jié)構(gòu)，即對于每個父類，都有一個或者幾個子類，利用父類及其子類的類名作為查詢關(guān)鍵詞，利用Google Web API來收集網(wǎng)絡(luò)資源，