實時垂直搜索引擎數(shù)據(jù)抓取調度研究.pdf

1、實時垂直搜索引擎的發(fā)展解決了互聯(lián)網(wǎng)用戶對大規(guī)模高時間敏感度數(shù)據(jù)的搜索需求，而抓取任務調度相關技術是實時垂直搜索引擎的關鍵技術，決定了實時垂直搜索引擎的性能和用戶體驗。但是，目前學術界對實時垂直搜索引擎數(shù)據(jù)抓取任務調度的相關研究尚未開展，導致現(xiàn)有的實時垂直搜索引擎數(shù)據(jù)過期、抓取資源浪費的現(xiàn)象非常嚴重。
　　 本文對實時垂直搜索引擎的抓取任務調度相關技術進行了詳細的總結和研究。首先對數(shù)據(jù)抓取的基本問題做了系統(tǒng)的歸納和分析，總結了實時

2、垂直搜索引擎的抓取策略和數(shù)據(jù)變化規(guī)律的預測方法。然后提出了一種新的實時垂直搜索引擎抓取分發(fā)優(yōu)化策略：OLCO策略，基于對象及其屬性間的關聯(lián)設計熱門對象預測模型，對熱門對象的變化趨勢進行預測；基于用戶查詢及對象變化符合泊松過程的特點，推導最大化數(shù)據(jù)新鮮度的計算方法，從理論上給出資源分配和動態(tài)平衡的最優(yōu)策略。最后基于OLCO策略提出了一種自適應的實時垂直搜索引擎的任務抓取分發(fā)模型：SACD模型，該模型巧妙地利用了自適應的思想，有效地解決了實