基于句子的網(wǎng)頁鑒別與實(shí)體關(guān)系抽取問題研究.pdf

1、網(wǎng)頁是傳遞信息的重要載體，以網(wǎng)頁作為研究對(duì)象是現(xiàn)今信息檢索與信息抽取研究的必然趨勢(shì)。鑒于句子既是傳遞信息的基本單位，又是表達(dá)完整意思的語言單位，本文以句子為出發(fā)點(diǎn)對(duì)網(wǎng)頁鑒別與實(shí)體關(guān)系抽取問題進(jìn)行研究。具體內(nèi)容如下。
　　首先，定性分析基于句子網(wǎng)頁鑒別的難易程度。網(wǎng)頁鑒別是以網(wǎng)頁中是否含有人們給定的句子為依據(jù)來鑒別網(wǎng)頁內(nèi)容。句子的各種變化形式可以表達(dá)相同含義的特點(diǎn)，給網(wǎng)頁鑒別帶來了困難。為了解決該問題，先根據(jù)句子的不同變化方式，定義

2、句子與網(wǎng)頁之間的五種關(guān)系：屬于關(guān)系、同義詞替換關(guān)系、簡(jiǎn)單語序變換關(guān)系、復(fù)雜語序變換關(guān)系和推導(dǎo)變換關(guān)系。再討論每一種關(guān)系的識(shí)別問題，證明：識(shí)別句子與網(wǎng)頁的屬于關(guān)系是可判定問題并且是P問題；識(shí)別同義詞替換關(guān)系是不可判定問題；識(shí)別簡(jiǎn)單語序變換關(guān)系是不可判定問題；識(shí)別復(fù)雜語序變換關(guān)系是不可識(shí)別問題；識(shí)別推導(dǎo)變換關(guān)系是不可識(shí)別問題。上述結(jié)論勾畫出了網(wǎng)頁鑒別研究難易程度的譜系。
　　其次，給出網(wǎng)頁鑒別算法。針對(duì)網(wǎng)頁鑒別中，漢語句子與網(wǎng)頁之間每

3、一種關(guān)系的識(shí)別，分別給出不同的識(shí)別算法。對(duì)于屬于關(guān)系，通過Karp-Rabin Hash函數(shù)把句子表示成指紋，給出基于指紋的識(shí)別算法。對(duì)于同義詞替換關(guān)系，利用現(xiàn)有的詞義消歧技術(shù)，給出基于無指導(dǎo)詞義分析的識(shí)別算法。對(duì)于簡(jiǎn)單語序變換關(guān)系，給出基于無指導(dǎo)句法分析和詞語共現(xiàn)的兩種識(shí)別算法，并比較了它們的識(shí)別性能。對(duì)于復(fù)雜語序變換關(guān)系，針對(duì)“被”、“把”字句，以及增加修飾成分而產(chǎn)生的新句子的識(shí)別，給出基于無指導(dǎo)句法分析的特殊形式識(shí)別算法；對(duì)于推導(dǎo)

4、變換關(guān)系，針對(duì)由詞的上下位關(guān)系而產(chǎn)生的推導(dǎo)變換形式的識(shí)別，給出基于詞義層次樹的識(shí)別算法。同時(shí)，對(duì)每一種算法的識(shí)別性能進(jìn)行了實(shí)驗(yàn)分析與驗(yàn)證。
　　然后，研究基于句子的實(shí)體關(guān)系抽取問題。該問題是在網(wǎng)頁中尋找一個(gè)句子，且句子中存在滿足指定關(guān)系的兩個(gè)實(shí)體，并將這兩個(gè)實(shí)體抽取出來。實(shí)體表現(xiàn)形式的多樣性、隱式實(shí)體關(guān)系的存在，以及句子的各種變化可以表達(dá)相同含義的特點(diǎn)，給實(shí)體關(guān)系的抽取帶來了困難。為了研究該問題，先定性分析問題的難易程度，證明其為

5、一個(gè)不可判定問題，再提出基于一致性明確表述的抽取算法。該算法為了提高關(guān)系抽取的準(zhǔn)確率，引入兩個(gè)假設(shè)條件，并以此為基礎(chǔ)，通過詞語匹配的方式判斷網(wǎng)頁句子中是否存在滿足指定關(guān)系的兩個(gè)實(shí)體。同時(shí)，通過理論分析和實(shí)驗(yàn)驗(yàn)證抽取算法是有效的。
　　最后，研究實(shí)體關(guān)系的閉包求解問題。該問題是在基于句子實(shí)體關(guān)系抽取結(jié)果的基礎(chǔ)上，研究如何利用已經(jīng)抽取出的實(shí)體關(guān)系，推導(dǎo)出隱含在關(guān)系中的其它實(shí)體序偶。為了研究該問題，先定性分析問題的難易程度，證明它是一個(gè)