Web實(shí)體事件重復(fù)檢測(cè)問(wèn)題研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的日新月異，Web上的信息量也在飛速增長(zhǎng)。Web已經(jīng)成為一個(gè)巨大的數(shù)據(jù)源，擁有著海量的數(shù)據(jù)。這些數(shù)據(jù)中蘊(yùn)含著大量有價(jià)值的實(shí)體事件，對(duì)人們的工作和社會(huì)的生產(chǎn)具有舉足輕重的作用。對(duì)Web上的實(shí)體事件進(jìn)行充分的挖掘和分析，能夠獲取豐富的知識(shí)，在市場(chǎng)情報(bào)分析、輿情分析、電子商務(wù)、商業(yè)智能等領(lǐng)域具有十分重要的意義。但是Web是一個(gè)自由和開放的空間，Web實(shí)體事件來(lái)自不同的數(shù)據(jù)源，Web數(shù)據(jù)源具有自治性強(qiáng)的特點(diǎn)，發(fā)布信息相對(duì)隨意，再加上

2、自然語(yǔ)言也具有自由靈活的特點(diǎn)，同一實(shí)體事件采用不同的表述方式是一種極其常見的現(xiàn)象。這給實(shí)體事件的發(fā)現(xiàn)分析工作帶來(lái)了極大的困難，也給搜索信息的用戶和決策者帶來(lái)了很大的困擾。
　　為了讓用戶獲得簡(jiǎn)潔、準(zhǔn)確、無(wú)重復(fù)的實(shí)體事件信息，就需要對(duì)來(lái)自不同數(shù)據(jù)源的實(shí)體事件表象進(jìn)行重復(fù)檢測(cè)，這也是Web實(shí)體事件發(fā)現(xiàn)研究領(lǐng)域的重要子任務(wù)。要實(shí)現(xiàn)以上目標(biāo)，就必須解決以下兩個(gè)關(guān)鍵問(wèn)題:(1)實(shí)體事件表象的重復(fù)檢測(cè)。對(duì)來(lái)自不同數(shù)據(jù)源的實(shí)體事件表象進(jìn)行重復(fù)檢

3、測(cè)，識(shí)別同一實(shí)體事件的多種表象，即將來(lái)自不同數(shù)據(jù)源的表意相同、表達(dá)方式不同的實(shí)體事件表象識(shí)別出來(lái)。(2)實(shí)體事件的重復(fù)檢測(cè)。實(shí)體事件是由重復(fù)的實(shí)體事件表象組成的集合表示的，經(jīng)過(guò)實(shí)體事件表象的重復(fù)檢測(cè)之后，實(shí)體事件之間仍然可能存在重復(fù)，需要進(jìn)一步識(shí)別實(shí)體事件之間的重復(fù)現(xiàn)象。
　　本文對(duì)不同的實(shí)體事件表象、實(shí)體事件之間的關(guān)系進(jìn)行了研究，以Web實(shí)體事件重復(fù)檢測(cè)為目標(biāo)，針對(duì)以上兩個(gè)待解決的關(guān)鍵問(wèn)題展開研究，探索了實(shí)體事件表象的重復(fù)檢測(cè)和

4、實(shí)體事件的重復(fù)檢測(cè)兩方面的問(wèn)題，主要工作與研究?jī)?nèi)容如下:
　　(1)針對(duì)實(shí)體事件表象的重復(fù)問(wèn)題，根據(jù)商業(yè)領(lǐng)域中，同一時(shí)間、同一地點(diǎn)，一個(gè)特定的主體只能參加一個(gè)活動(dòng)這一個(gè)規(guī)律，本文提出了“基于動(dòng)態(tài)權(quán)重的線性組合方法”。將實(shí)體事件表象對(duì)的時(shí)間、地點(diǎn)、主體三個(gè)主要屬性，以及其他輔助屬性進(jìn)行相似度計(jì)算，并利用屬性相似度計(jì)算出動(dòng)態(tài)權(quán)重，然后利用各個(gè)屬性的相似度得分和動(dòng)態(tài)權(quán)重求出實(shí)體事件表象對(duì)的相似度得分。最后將實(shí)體事件表象對(duì)的相似度得分與特

5、定的閾值進(jìn)行比較，對(duì)實(shí)體事件表象對(duì)是否重復(fù)做出判斷。實(shí)驗(yàn)結(jié)果表明，該方法相對(duì)于其他方法能夠獲得較高的F-measure值，有效的解決了實(shí)體事件表象的重復(fù)問(wèn)題。
　　(2)實(shí)體事件由重復(fù)的實(shí)體事件表象組成的集合表示，不同的實(shí)體事件之間也可能存在重復(fù)。因此，在基于動(dòng)態(tài)權(quán)重的線性組合方法的基礎(chǔ)之上，本文進(jìn)一步提出了兩種實(shí)體事件重復(fù)檢測(cè)的方法:基于實(shí)體事件屬性的重復(fù)檢測(cè)方法和基于實(shí)體事件關(guān)系的重復(fù)檢測(cè)方法，用以解決不同實(shí)體事件之間的重復(fù)問(wèn)