基于網(wǎng)絡信息的個性化用戶詞典更新方法.pdf

1、漢字輸入是中文信息處理中非常重要的問題之一,也是智能人機接口的一個重要組成部分。在漢字輸入領域,拼音輸入比較符合人們的使用習慣,目前已經(jīng)進入第三代云輸入法的發(fā)展階段。目前主流輸入法強調個性化,個性化主要體現(xiàn)為詞頻調整和詞庫自動擴充。詞頻調整是指根據(jù)用戶輸入的分詞統(tǒng)計,隨時對詞庫的詞頻做出合理的調整,給用戶最合理的詞條排序。而詞庫自動擴充是指通過搜索引擎或者互聯(lián)網(wǎng)抓取前所未有的超大訓練語料(TB級別),使得各種各樣的詞語都可以統(tǒng)統(tǒng)納入詞典

2、而不受任何限制。本文正是主要從詞庫擴充來改進輸入法。詞庫擴充最重要的方面是新詞發(fā)現(xiàn),這也是本文的核心內容,針對這個問題,本文主要進行了以下研究工作:
　　(1)網(wǎng)絡信息的提取和處理:用網(wǎng)絡爬蟲程序爬取新浪網(wǎng)頁,抽取出其中的網(wǎng)頁內容,由于其中的網(wǎng)頁內容還有大量垃圾信息(比如廣告,版權等信息),需要對抽取到的網(wǎng)頁內容進行凈化,提取其中有效信息,標記其中重要信息。網(wǎng)頁凈化是指對原始網(wǎng)頁庫中的每一個網(wǎng)頁進行解析和過濾,提取有效信息,標記重

3、要信息,去掉意義不大的廣告、版權等信息的過程。原始網(wǎng)頁經(jīng)過凈化,可以轉變?yōu)橐粋€結構清晰,內容緊湊,信息明確的網(wǎng)頁。
　　(2)設計實現(xiàn)了新詞的提取:對凈化的網(wǎng)頁采用基于普通重復串統(tǒng)計方法提取新詞,對中文按照標點和停用詞表進行切分,然后對每個二字詞、三字詞、四字詞進行出現(xiàn)次數(shù)的統(tǒng)計,次數(shù)超過預先設置好的閾值的字串作為候選新詞,再基于重復串查找算法刪除重復子串和構詞規(guī)則刪除垃圾串,最后將候選新詞和輸入法本身的詞庫進行比對,形成一個新詞

4、詞庫。
　　(3)新詞分類和詞庫的個性化加載:在所得到的凈化網(wǎng)頁信息中,經(jīng)研究原始網(wǎng)頁發(fā)現(xiàn),標題字段也含有正文的類別信息,用匹配的方法提取出類別。通過這種方法,把新詞進行分類。根據(jù)用戶的使用習慣,有選擇的加載或刪除新詞詞庫其中的一類或者幾類,體現(xiàn)用戶的個性化特點。
　　最后,為了對系統(tǒng)取得真實、客觀的評價,本文以準確率,召回率,F值來評測新詞提取的性能,以字符準確率,行準確率為評價指標,對輸入法加入新詞詞庫前后的性能進行比較