漢語人名消歧算法研究.pdf

1、人名歧義是一種實體對象的身份不確定的現(xiàn)象，是自然語言處理領域中的一個重要問題。隨著全球互聯(lián)網(wǎng)技術的發(fā)展以及大數(shù)據(jù)時代的來臨，越來越多的互聯(lián)網(wǎng)應用已經(jīng)步入歷史舞臺。隨著這些應用的興起以及研究的深入，人名的實體指向在諸多新的應用領域中已經(jīng)起到了至關重要的作用，包括在搜索引擎、社會網(wǎng)絡和人名知識庫構建等領域。目前，越來越多的應用都本著以人為本和私人定制的宗旨服務大眾，因此如何有效地消除由于人名相同帶來的歧義已經(jīng)成為國內(nèi)外非常重要的研究課題，而

2、國內(nèi)漢語人名歧義的研究也面臨著巨大的挑戰(zhàn)。所以本文的研究內(nèi)容是旨在找到一套模型和算法，能夠行而有效的消除文本信息中的人名歧義。
　　本文人名消歧算法的主要研究思路，首先通過對包含有指定人名的文本提取出文本的關鍵詞特征，利用這些文本的關鍵詞特征通過算法進行比對來辨別文本間的相似性。根據(jù)文本特征的相似性來判斷在不同的文本間出現(xiàn)的相同人名是否指向同一實體對象，從而實現(xiàn)人名歧義的消除。具體做法是利用TF-IDF算法對文本提取出來帶有權重的

3、關鍵詞，生成文本的特征向量。利用TF-IDF算法能夠有效地將詞頻與逆文檔詞頻相結合，既反映出詞語的反復出現(xiàn)的重要性也能夠降低常用詞的重要性。在對不同的特征向量利用空間向量的余弦定理的公式，計算出不同的特征向量間的相似性，并且利用向量間夾角的大小來判斷人名歧義。實驗過程中的算法設計從簡單到復雜，在進一步對算法的特性和特征進行討論之后，提出了算法的改進策略。提出了多特征融合的向量集、特征向量集的規(guī)范化修正、文本特征的向量內(nèi)特征方向上增強以及