基于統(tǒng)計(jì)的漢語(yǔ)意見(jiàn)文本校對(duì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著近年來(lái)Web2.0技術(shù)和社交媒體的快速發(fā)展，網(wǎng)絡(luò)中出現(xiàn)大量的產(chǎn)品意見(jiàn)文本。同正規(guī)的新聞文本相比，產(chǎn)品意見(jiàn)文本書(shū)寫(xiě)自由，存在大量的錯(cuò)別字、標(biāo)點(diǎn)誤用和諧音等病態(tài)輸入現(xiàn)象，由于這些不規(guī)范的語(yǔ)言行為的存在，嚴(yán)重影響了后續(xù)的意見(jiàn)挖掘工作的效果。如何去掉這些非正規(guī)描述或噪聲信息已成為產(chǎn)品意見(jiàn)文本分析亟待解決的一個(gè)重要課題。
　　本文在深入分析漢語(yǔ)產(chǎn)品意見(jiàn)文本特點(diǎn)的基礎(chǔ)上，在統(tǒng)計(jì)方法框架下，從標(biāo)點(diǎn)符號(hào)和錯(cuò)別字校對(duì)兩個(gè)方面探索漢語(yǔ)意見(jiàn)文本校對(duì)

2、問(wèn)題，以提高意見(jiàn)文本的可讀性和規(guī)范性，進(jìn)而為后續(xù)的意見(jiàn)挖掘打下良好的基礎(chǔ)。具體地，本文的主要工作包括以下兩個(gè)方面:
　　(1)針對(duì)產(chǎn)品意見(jiàn)文本中存在的標(biāo)點(diǎn)錯(cuò)誤，本文在融合多級(jí)別語(yǔ)言特征進(jìn)行CRF序列標(biāo)注的基礎(chǔ)之上，融合原文標(biāo)點(diǎn)信息，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于標(biāo)點(diǎn)位置預(yù)測(cè)的三階段的漢語(yǔ)標(biāo)點(diǎn)校對(duì)系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，引入原文標(biāo)點(diǎn)信息有利于標(biāo)點(diǎn)糾錯(cuò)性能的提高。
　　(2)針對(duì)產(chǎn)品意見(jiàn)文本中存在的錯(cuò)別字，本文深入分析了錯(cuò)別字與其正確形式之間的