基于動態(tài)增長測試集的搜索引擎評價(jià)方法的研究與應(yīng)用.pdf

1、基于Cranfield體系的搜索引擎評價(jià)大多是多個(gè)搜索算法是在一個(gè)固定的測試集合上進(jìn)行的。這種評價(jià)方法相對而言比較客觀和公正，并且整個(gè)評價(jià)過程和結(jié)果可以重復(fù)再現(xiàn)。然而這種方式不適合生產(chǎn)環(huán)境下的搜索引擎，因?yàn)槠湮臋n規(guī)模是動態(tài)增長的，大量的未判斷的文檔將導(dǎo)致結(jié)果顯著變差。為了解決這一問題，并在動態(tài)增長的索引上比較兩種搜索算法，本文針對系統(tǒng)領(lǐng)域的特殊性，構(gòu)建了必要的測試集合，并提出了一種基于動態(tài)增加測試集的搜索引擎評價(jià)框架。該框架主要分為數(shù)據(jù)

2、生成、指標(biāo)計(jì)算和結(jié)果展示三個(gè)模塊。
　　為了保證該評價(jià)框架的有效性，本文采用了工作流引擎定期驅(qū)動搜索引擎評價(jià)的設(shè)計(jì)，選取了適合待評價(jià)系統(tǒng)的評價(jià)指標(biāo)，還結(jié)合測試集合中話題的特點(diǎn)，提出了能夠更新測試集合的搜索結(jié)果與話題的相關(guān)性預(yù)測算法，并還給出了如何在一段時(shí)間內(nèi)每個(gè)評價(jià)指標(biāo)計(jì)算結(jié)果的比較方法。通過實(shí)驗(yàn)證明了評價(jià)指標(biāo)的選取是合理的，通過相關(guān)性預(yù)測算法更新測試集合是有效的，還給出了該評價(jià)方法的適用范圍。并且該方法得到了業(yè)務(wù)專家的認(rèn)同。