中文句子語義相似判定問題的眾包解決方案.pdf

1、隨著計(jì)算機(jī)的普及以及互聯(lián)網(wǎng)的迅速發(fā)展、海量信息以電子文檔的形式出現(xiàn)在人們面前，如何快速準(zhǔn)確地從大規(guī)模的文本信息中找到所需信息越來越困難。自然語言文本形式是最普遍的信息存儲(chǔ)和信息交換形式，對(duì)中文句子語義相似判定研究是自然語言處理中的基本問題，是展開信息檢索、信息抽取、數(shù)據(jù)挖掘、人工智能等任務(wù)的前提。
　　中文是以長(zhǎng)字符串形式的方式書寫，其復(fù)雜的語義表達(dá)能力和詞語的多歧義性使得計(jì)算機(jī)對(duì)中文進(jìn)行語義分析難度很大。如何采用更加準(zhǔn)確、高效的

2、方法對(duì)語義相似度進(jìn)行判定是亟待解決的問題。在中文句子語義相似度判定方面，人工的對(duì)句子進(jìn)行標(biāo)注是準(zhǔn)確率很高的一種方法，但是這種方式不僅要花費(fèi)大量的資金去雇傭人力，而且工作效率也很低，而傳統(tǒng)的句子語義相似度計(jì)算方法依賴于詞頻統(tǒng)計(jì)、句法分析、句子結(jié)構(gòu)分析等方法，由于中文語義的多義性、句式的多樣性等方面的因素，現(xiàn)有的自然語義處理技術(shù)都存在不完善之處，因而導(dǎo)致句子語義相似度計(jì)算達(dá)不到很好的計(jì)算效果。
　　“眾包”是一種靈活有效并且成本較低的

3、解決問題的方式，已逐漸得到越來越多人的關(guān)注，其采用“人計(jì)算”的思想，將一些計(jì)算和功能的實(shí)現(xiàn)外包給人特別是在線社區(qū)群體去完成，使得計(jì)算機(jī)與人進(jìn)行協(xié)同工作，從而得到最佳的計(jì)算結(jié)果。中文句子語義相似判定問題中存在很多不可判定問題和NP問題，這些問題對(duì)于計(jì)算機(jī)來說是難以解決的，但是人本身具備更多的背景知識(shí)和良好的理解歸納能力，可以更好地解決這些問題。因此，這樣的問題可以通過眾包的方式去解決。在眾包系統(tǒng)中，為了讓眾包工作者能夠更好地完成任務(wù)，通常

4、將復(fù)雜龐大的任務(wù)細(xì)分為一系列簡(jiǎn)單的任務(wù)，再將這些任務(wù)分發(fā)給一定數(shù)量的眾包工作者，眾包系統(tǒng)收集工作者提供的答案，并通過計(jì)算聚合，最終生成符合需求的結(jié)果。利用眾包的方式解決此類問題不僅可以在短時(shí)間得內(nèi)到大量的判定結(jié)果，同時(shí)也保證了結(jié)果的質(zhì)量。
　　本文分析了現(xiàn)有的中文句子語義分析技術(shù)以及現(xiàn)有的句子相似度計(jì)算存在的不足之處。設(shè)計(jì)了中文句子語義相似判定問題的眾包解決方案，設(shè)計(jì)了相關(guān)句子擴(kuò)展方法，將句子拓展成與其語義可能相似的句子集合;將相