漢語(yǔ)詞法分析平臺(tái)的構(gòu)建.pdf

1、隨著現(xiàn)代化信息技術(shù)的不斷發(fā)展，計(jì)算機(jī)的數(shù)量快速增加，互聯(lián)網(wǎng)內(nèi)的信息量極速膨脹，計(jì)算機(jī)技術(shù)已經(jīng)和人們的日常生活息息相關(guān)。自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)領(lǐng)域一個(gè)重要的研究課題，它的研究對(duì)象是人們?nèi)粘Ｊ褂玫恼Z(yǔ)言，通過對(duì)自然語(yǔ)言的研究和處理，實(shí)現(xiàn)自然語(yǔ)言和計(jì)算機(jī)之間的互相理解和正常通信。
　　詞法分析是自然語(yǔ)言處理領(lǐng)域一個(gè)重要的問題，大部分機(jī)器翻譯的問題都需要進(jìn)行詞法分析。目前，對(duì)于詞法分析的研究和實(shí)現(xiàn)大都局限在實(shí)驗(yàn)層次，而辦公移動(dòng)化、資源共享

2、化的互聯(lián)網(wǎng)環(huán)境決定了一個(gè)在線共享的實(shí)用性平臺(tái)更具有現(xiàn)實(shí)意義?；ヂ?lián)網(wǎng)上也已經(jīng)出現(xiàn)了一些實(shí)用性的詞法分析平臺(tái)，能夠?qū)崿F(xiàn)基本的分詞和詞性標(biāo)注的功能，但由于源碼不可修改、詞性標(biāo)注集不同等原因，無(wú)法為今后的相關(guān)性研究工作提供支持。
　　本文在實(shí)驗(yàn)室研究的基礎(chǔ)上，結(jié)合實(shí)驗(yàn)室的分詞和詞性標(biāo)注源碼，獨(dú)立開發(fā)了一個(gè)詞法分析的平臺(tái)。在平臺(tái)中，加入了人工干預(yù)的部分，用戶可以對(duì)分詞結(jié)果進(jìn)行修正，系統(tǒng)會(huì)定時(shí)地啟動(dòng)線程對(duì)修正的結(jié)果掃描，找到修正結(jié)果中含有的新

3、詞用來(lái)擴(kuò)充新詞詞典。對(duì)于每個(gè)用戶，還可以申請(qǐng)臨時(shí)詞典，將需要使用的新詞添加到臨時(shí)詞典中，暫時(shí)性地自定義分詞結(jié)果。用戶在提交分詞請(qǐng)求的時(shí)候，可以選擇原始分詞、使用新詞詞典分詞和使用臨時(shí)詞典分詞等多種分詞方式。詞性標(biāo)注方面，用戶可以對(duì)句直接標(biāo)注，也可以使用分詞的結(jié)果進(jìn)行標(biāo)注，修正的詞性標(biāo)注的結(jié)果也可以為今后的標(biāo)注效果的提高提供數(shù)據(jù)依據(jù)。
　　本文通過小概率事件置入的規(guī)則，彌補(bǔ)了統(tǒng)計(jì)方法上的局限性，使得統(tǒng)計(jì)和規(guī)則更好地融合，接口的公開化