大規(guī)模漢語語義詞典構建.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，信息的理解和處理越來越受到人們的關注。內容信息的理解需要自然語言的語義分析技術，而自然語言的語義分析離不開相應的語義詞典的支持，因此語義詞典的建設已經(jīng)成為自然語言處理的一項基礎性工作。語義詞典作為自然語言處理的一項基礎資源，不僅對分詞、命名實體識別、詞義消歧等自然語言處理的底層技術有幫助，而且在問答系統(tǒng)、信息檢索、文本分類等上層應用中也大有用武之地。
　　為了建設一部實用的、能在中文信息處理領域中發(fā)揮重要作用

2、的詞典，本文構建了一部具有簡單結構、收詞量足夠大的漢語語義詞典——詞脈，不僅整合了已有的語義詞典，如同義詞詞林（擴展版）、知網(wǎng)等，還充分利用了互聯(lián)網(wǎng)，融入了網(wǎng)絡上的詞條資源，如百度百科、搜狗細胞詞庫等，從而在擴大詞典規(guī)模的同時融入了新詞信息。
　　詞脈采用五層分類體系描述單詞詞義，詞語之間體現(xiàn)了良好的層次關系；每個詞義下是一個同義詞集合，每個集合中的單詞互為同義關系或同類關系。
　　本文首先整合了同義詞詞林（擴展版）和知網(wǎng)這

3、兩部詞典構建了詞脈的通用領域部分。將知網(wǎng)融入到同義詞詞林（擴展版）體系中，首先采用基于同義詞的算法融合，對于采用同義詞算法沒有融入的知網(wǎng)中的單詞，再采用基于同類詞的算法。人工校對自動融合的結果后，構成了詞脈的通用領域部分。
　　然后構建了詞脈中的專有領域部分。根據(jù)百度百科的特點，采用基于詞條的開放分類標簽的自動融合方法，融入了83部專有領域詞典，1,751,756個單詞；根據(jù)搜狗細胞詞庫的特點提出了手工標注搜狗細胞詞庫的分類體系到