基于自然語言處理的觀點(diǎn)句抽取系統(tǒng)設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)的快速發(fā)展，特別是Web2.0的概念和技術(shù)的應(yīng)用與推廣，帶來了全新的媒介形式、社群環(huán)境和營(yíng)銷理念。在這種環(huán)境下，以互聯(lián)網(wǎng)為媒介的評(píng)論、觀點(diǎn)和意見等主觀性文本信息成指數(shù)級(jí)增長(zhǎng)，文本意見挖掘技術(shù)逐漸成為語言信息處理領(lǐng)域的研究熱點(diǎn)。其中如何抽取觀點(diǎn)句，即將主觀性評(píng)論句與客觀性描述句區(qū)分開來，是文本意見挖掘技術(shù)中基礎(chǔ)且重要的一環(huán)。它不僅可以讓用戶更快捷地找到產(chǎn)品的相關(guān)評(píng)價(jià)內(nèi)容，也可以讓生產(chǎn)廠家對(duì)此產(chǎn)品得到及時(shí)的反饋從而進(jìn)行更深入的研究改進(jìn)

2、。
　　本文針對(duì)目前觀點(diǎn)句抽取領(lǐng)域的現(xiàn)狀，重點(diǎn)研究了如何從互聯(lián)網(wǎng)特定領(lǐng)域的非結(jié)構(gòu)化文本中獲取相關(guān)信息并抽取觀點(diǎn)句的技術(shù)，并構(gòu)建了一個(gè)基于自然語言處理的觀點(diǎn)句抽取系統(tǒng)。本文的主要工作包括:
　　1.本文提出了一種融合鏈接密度與內(nèi)容相似度的網(wǎng)頁正文提取算法。該方法與以往使用的DOM樹解析方法不同，無需使用網(wǎng)頁分析工具，而是將網(wǎng)頁源碼看作一個(gè)字符串，并按標(biāo)簽分割為不同的節(jié)點(diǎn)，利用節(jié)點(diǎn)內(nèi)容與標(biāo)題內(nèi)容的相似度以及節(jié)點(diǎn)內(nèi)的鏈接密度來判斷

3、其是否為正文的起始或結(jié)束節(jié)點(diǎn)。
　　2.本文提出了一種SVM和組合列表密度相結(jié)合的網(wǎng)頁評(píng)論提取算法，即新聞?wù)南旅娲蠖鄶?shù)都包含諸如:“有XX人參與評(píng)論”、“本文共有XX條評(píng)論”的超鏈接文字，識(shí)別提取此類超鏈接并重定向，可獲取短文本候選網(wǎng)頁。
　　3.本文提出了一種規(guī)則與統(tǒng)計(jì)、粗粒度與細(xì)粒度相結(jié)合的觀點(diǎn)句抽取方法。粗粒度提取中，融合觀點(diǎn)特征詞、句法特征和依存特征進(jìn)行提取;細(xì)粒度提取中，設(shè)計(jì)一種全新的CSR序列提取算法，并結(jié)合語