實(shí)時垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究.pdf

1、實(shí)時垂直搜索引擎的發(fā)展解決了互聯(lián)網(wǎng)用戶對大規(guī)模高時間敏感度數(shù)據(jù)的搜索需求，而抓取任務(wù)調(diào)度相關(guān)技術(shù)是實(shí)時垂直搜索引擎的關(guān)鍵技術(shù)，決定了實(shí)時垂直搜索引擎的性能和用戶體驗(yàn)。但是，目前學(xué)術(shù)界對實(shí)時垂直搜索引擎數(shù)據(jù)抓取任務(wù)調(diào)度的相關(guān)研究尚未開展，導(dǎo)致現(xiàn)有的實(shí)時垂直搜索引擎數(shù)據(jù)過期、抓取資源浪費(fèi)的現(xiàn)象非常嚴(yán)重。
　　 本文對實(shí)時垂直搜索引擎的抓取任務(wù)調(diào)度相關(guān)技術(shù)進(jìn)行了詳細(xì)的總結(jié)和研究。首先對數(shù)據(jù)抓取的基本問題做了系統(tǒng)的歸納和分析，總結(jié)了實(shí)時

2、垂直搜索引擎的抓取策略和數(shù)據(jù)變化規(guī)律的預(yù)測方法。然后提出了一種新的實(shí)時垂直搜索引擎抓取分發(fā)優(yōu)化策略：OLCO策略，基于對象及其屬性間的關(guān)聯(lián)設(shè)計熱門對象預(yù)測模型，對熱門對象的變化趨勢進(jìn)行預(yù)測；基于用戶查詢及對象變化符合泊松過程的特點(diǎn)，推導(dǎo)最大化數(shù)據(jù)新鮮度的計算方法，從理論上給出資源分配和動態(tài)平衡的最優(yōu)策略。最后基于OLCO策略提出了一種自適應(yīng)的實(shí)時垂直搜索引擎的任務(wù)抓取分發(fā)模型：SACD模型，該模型巧妙地利用了自適應(yīng)的思想，有效地解決了實(shí)