基于中文維基百科的文本擴充.pdf

1、維基百科條目解釋頁面的內部鏈接將維基百科中的一個個條目有機聯(lián)系起來，使得維基百科中的知識不再是無結構的獨立頁面，也使得讀者無需重新在維基百科中檢索即可方便地瀏覽與當前條目相關的其他知識。維基百科內部鏈接所起到的作用以及志愿者添加內部鏈接的過程，給了我們一定的啟發(fā)：普通中文文本也可以添加類似的指向維基百科頁面的超鏈接，一方面，這些超鏈接所指向的維基百科條目頁面能夠輔助用戶理解當前文本，增加閱讀的樂趣，另一方面，這些超鏈接的錨文本能在一定程

2、度上代表當前文本的主題，可以作為當前文本的關鍵詞，而文本的關鍵詞在自然語言處理的其他領域有著很重要的作用。
　　 基于中文維基百科的文本擴充是指利用中文維基百科對普通文本進行分析，抽取出其中的關鍵詞，并進行詞義消歧，最終添加指向維基百科條目頁面的鏈接來達到文本擴充的目的。這一過程中主要的工作和特色是充分利用了中文維基百科來輔助本文的研究工作，具體體現(xiàn)在如下四個方面：
　　 第一，從維基百科中獲得詞表，輔助關鍵詞抽取的過程

3、。關鍵詞抽取過程中使用基于正向最大匹配算法的分詞工具來進行分詞，其中分詞工具的詞庫來源于三個方面：中文維基百科的條目列表、中文維基百科條目解釋頁面內部鏈接的錨文本列表、搜狗互聯(lián)網(wǎng)詞庫。經(jīng)過分詞之后，再從分詞結果中挑選出出現(xiàn)在前兩個分詞詞庫中的詞語作為候選關鍵詞。
　　 第二，將維基百科作為一個大型的半標注的語義知識庫來輔助選擇最終的關鍵詞和多義詞消歧義的過程。維基百科中的內部鏈接和開放分類信息蘊涵了豐富的語義知識，我們利用這兩個

4、資源來對候選關鍵詞進行評估，以及對歧義詞進行消歧。
　　 第三，將維基百科中的條目解釋頁面作為文本擴充后超鏈接的目標指向。文本經(jīng)過本文的關鍵詞抽取和歧義詞消歧義之后，通過添加適當?shù)膆tml標簽使其中的關鍵詞成為指向維基百科的超鏈接。
　　 最后，將維基百科作為測試語料。為了驗證本文關鍵詞抽取和詞義消歧的效果，我們從維基百科中挑選了一定數(shù)目的條目文章作為測試集，通過與人工標注的維基百科條目文章進行比對發(fā)現(xiàn)，本文的關鍵詞抽取