推特數(shù)據(jù)信息的查詢擴展方法研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，在全球各地每時每刻都在產(chǎn)生大量的推特數(shù)據(jù)信息。如何在這大量數(shù)據(jù)中去篩選滿足用戶需求的信息變得尤為重要，查詢擴展方法在推文檢索中廣泛應用，可以有效的解決這一問題。
　　查詢擴展主要包含兩個部分：一是篩選與原始查詢詞相關(guān)的推文作為語料庫；二是篩選語料庫中與原始查詢最相關(guān)的詞語作為待擴展詞。傳統(tǒng)查詢擴展方法主要使用BM25算法，VSM算法以及TF-IDF算法等對原始查詢和推文進行相關(guān)性比較，篩選出滿足用戶需求的推文

2、作為語料庫。這種方法存在兩個不足：一是含有較少查詢詞的推文被漏選，二是含有較多查詢詞的不相關(guān)推文被錯誤的篩選。針對此問題本文在以下幾個方面進行研究和創(chuàng)新：
　　(1)提出基于推文聚類的查詢擴展方法，并對其進行設(shè)計和完成。該方法對篩選推文作為語料庫這一過程進行改進，并將傳統(tǒng)的逐條推文與原始查詢詞進行相關(guān)性比較的推文篩選方法進行優(yōu)化。該方法先對推文進行聚類，根據(jù)與原始查詢詞的相關(guān)性對聚好類的推文進行篩選，得到的推文集合包含了相同語義的

3、所有推文。再比較推文類與原始查詢的相關(guān)性，篩選出最滿足用戶需求的推文類。這一方法很好的解決了含有較少查詢詞的相關(guān)推文被漏選的問題。
　　該方法對比BM25算法對兩種不同的查詢擴展方法在平均準確率(mAP)上分別提升了11.4％和12.0%，比VSM算法分別提升了14.9%和15.3%，比TF-IDF算法分別提升了15.8%和13.7%。
　　(2)提出基于主題劃分的查詢擴展方法。通過對不相關(guān)推文中含有較多查詢詞而被篩選這一主

4、題偏移問題進行改進，使得含有查詢詞的不相關(guān)推文被有效的過濾。該方法將推文進行主題劃分，篩選出滿足用戶查詢的主題下的推文集合作為語料庫，有效的去除了含有查詢詞但并不屬于該主題的推文。
　　該方法對比BM25算法對兩種不同的查詢擴展方法在平均準確率(mAP)上分別提升了13.2%和13.9%，比VSM算法分別提升了16.7%和17.3%，比TF-IDF算法分別提升了17.7%和15.6%。
　　(3)經(jīng)過分別對主題劃分方法和推文