基于文本挖掘的實(shí)體搜索的研究.pdf

1、網(wǎng)絡(luò)搜索的研究是當(dāng)前計(jì)算機(jī)科學(xué)領(lǐng)域研究的熱點(diǎn)與前沿，研究重點(diǎn)逐漸從原始的關(guān)鍵字搜索趨向于更加智能更加復(fù)雜的高級(jí)搜索，如實(shí)體搜索領(lǐng)域。在實(shí)體搜索中，輸入為一個(gè)關(guān)鍵字或語句查詢(如“信息檢索”、“網(wǎng)絡(luò)協(xié)議”)，輸出為一系列與此查詢相關(guān)的實(shí)體的列表(如人名，或時(shí)間表述等)。實(shí)體搜索大大擴(kuò)展了網(wǎng)絡(luò)搜索的范疇和深度，具有重要理論意義與實(shí)用價(jià)值。 本文即研究互聯(lián)網(wǎng)及企業(yè)網(wǎng)中的實(shí)體搜索問題，針對(duì)一般性的實(shí)體搜索問題解決三個(gè)主要問題：(1)實(shí)體

2、識(shí)別，(2)備選實(shí)體查找，(3)備選實(shí)體排序。實(shí)體識(shí)別，即標(biāo)識(shí)出哪些是實(shí)體，屬于哪類實(shí)體。備選實(shí)體查找，即應(yīng)用信息檢索的方法，在數(shù)據(jù)集中檢索出與查詢相關(guān)的實(shí)體。備選實(shí)體排序，即基于和查詢的相關(guān)性，將這些被選答案進(jìn)行排序，并將排序結(jié)果作為搜索結(jié)果反饋給用戶。在整個(gè)搜索過程中，排序是核心問題，決定了搜索的準(zhǔn)確性和搜索效率。 針對(duì)實(shí)體識(shí)別問題，本文針對(duì)不同的實(shí)體類型，定義了相應(yīng)的實(shí)體識(shí)別的方法，并應(yīng)用字符相似度和上下文相似度來解決實(shí)體

3、歸一化的問題，即將表述同一實(shí)體的不同描述聚合到同一類中。 針對(duì)備選實(shí)體查找問題，本文應(yīng)用傳統(tǒng)的信息檢索的方法查找與查詢相關(guān)的文本；并針對(duì)不同文本對(duì)實(shí)體搜索的貢獻(xiàn)差異，提出了一個(gè)基于分類的文本過濾算法。 針對(duì)備選實(shí)體排序問題，本文提出兩個(gè)排序算法:一種是無監(jiān)督的兩層模型算法，將文本和查詢之間的關(guān)系，即文本和實(shí)體之間的關(guān)系，以合理的方式結(jié)合在一起，以得到最終查詢結(jié)果；另一種排序算法為一種有監(jiān)督的學(xué)習(xí)算法，應(yīng)用一個(gè)線性學(xué)習(xí)模型