

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、漢字輸入是中文信息處理中非常重要的問題之一,也是智能人機接口的一個重要組成部分。在漢字輸入領域,拼音輸入比較符合人們的使用習慣,目前已經(jīng)進入第三代云輸入法的發(fā)展階段。目前主流輸入法強調個性化,個性化主要體現(xiàn)為詞頻調整和詞庫自動擴充。詞頻調整是指根據(jù)用戶輸入的分詞統(tǒng)計,隨時對詞庫的詞頻做出合理的調整,給用戶最合理的詞條排序。而詞庫自動擴充是指通過搜索引擎或者互聯(lián)網(wǎng)抓取前所未有的超大訓練語料(TB級別),使得各種各樣的詞語都可以統(tǒng)統(tǒng)納入詞典
2、而不受任何限制。本文正是主要從詞庫擴充來改進輸入法。詞庫擴充最重要的方面是新詞發(fā)現(xiàn),這也是本文的核心內容,針對這個問題,本文主要進行了以下研究工作:
(1)網(wǎng)絡信息的提取和處理:用網(wǎng)絡爬蟲程序爬取新浪網(wǎng)頁,抽取出其中的網(wǎng)頁內容,由于其中的網(wǎng)頁內容還有大量垃圾信息(比如廣告,版權等信息),需要對抽取到的網(wǎng)頁內容進行凈化,提取其中有效信息,標記其中重要信息。網(wǎng)頁凈化是指對原始網(wǎng)頁庫中的每一個網(wǎng)頁進行解析和過濾,提取有效信息,標記重
3、要信息,去掉意義不大的廣告、版權等信息的過程。原始網(wǎng)頁經(jīng)過凈化,可以轉變?yōu)橐粋€結構清晰,內容緊湊,信息明確的網(wǎng)頁。
(2)設計實現(xiàn)了新詞的提取:對凈化的網(wǎng)頁采用基于普通重復串統(tǒng)計方法提取新詞,對中文按照標點和停用詞表進行切分,然后對每個二字詞、三字詞、四字詞進行出現(xiàn)次數(shù)的統(tǒng)計,次數(shù)超過預先設置好的閾值的字串作為候選新詞,再基于重復串查找算法刪除重復子串和構詞規(guī)則刪除垃圾串,最后將候選新詞和輸入法本身的詞庫進行比對,形成一個新詞
4、詞庫。
(3)新詞分類和詞庫的個性化加載:在所得到的凈化網(wǎng)頁信息中,經(jīng)研究原始網(wǎng)頁發(fā)現(xiàn),標題字段也含有正文的類別信息,用匹配的方法提取出類別。通過這種方法,把新詞進行分類。根據(jù)用戶的使用習慣,有選擇的加載或刪除新詞詞庫其中的一類或者幾類,體現(xiàn)用戶的個性化特點。
最后,為了對系統(tǒng)取得真實、客觀的評價,本文以準確率,召回率,F值來評測新詞提取的性能,以字符準確率,行準確率為評價指標,對輸入法加入新詞詞庫前后的性能進行比較
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于本體的個性化用戶模型研究.pdf
- 基于用戶詞典的搜索個性化研究.pdf
- 基于變化信息文件的增量更新方法研究.pdf
- 基于Agent和Web挖掘的個性化用戶模型研究.pdf
- 基于Web挖掘的個性化用戶興趣模型的研究.pdf
- 適用于文本信息推薦的用戶興趣模型構建與更新方法.pdf
- 智能檢索中基于本體的個性化用戶建模技術及應用
- 29255.基于增量信息的地表覆蓋數(shù)據(jù)更新方法研究
- 49505.基于arcgis的基礎地理信息更新方法研究
- 豫南杉木更新方法研究.pdf
- 基于用戶興趣的個性化信息推薦系統(tǒng).pdf
- 動態(tài)視頻背景更新方法研究.pdf
- FPGA固件遠程更新方法的研究.pdf
- 基于用戶興趣建模的個性化旅游信息智能推送方法研究.pdf
- 基于用戶信息行為的個性化知識服務研究.pdf
- 基于用戶聚類的個性化推薦方法研究.pdf
- 自適應背景更新方法研究
- 自適應背景更新方法研究.pdf
- 考慮信息屬性和用戶權限的個性化信息推薦方法研究.pdf
- 基于本體的個性化信息搜索的用戶模型研究.pdf
評論
0/150
提交評論