搜索引擎評價(jià)指標(biāo)特性的研究.pdf

1、對搜索引擎的檢索質(zhì)量進(jìn)行評價(jià)是信息檢索領(lǐng)域的一個重要方面，因此，人們提出了許多搜索引擎評價(jià)指標(biāo)。各種評價(jià)指標(biāo)本身各有特色，如有的評價(jià)指標(biāo)穩(wěn)定性較好，但敏感性較差;另一些評價(jià)指標(biāo)則反之。如何得到綜合特性最優(yōu)的評價(jià)指標(biāo)，從而對搜索引擎的檢索質(zhì)量進(jìn)行準(zhǔn)確、全面、令人信服的評價(jià)，是信息檢索領(lǐng)域面臨的一個重要的難題，為此，需要準(zhǔn)確、可靠的評估方法。本文提出了基于t檢驗(yàn)的評估方法，同時(shí)使用該方法對文檔二值相關(guān)和多值相關(guān)兩種情形下的五種常用評價(jià)指標(biāo)進(jìn)

2、行了實(shí)驗(yàn)研究，它們是MAP(mean average preecision，平均查準(zhǔn)率)、P@10(precision at10 document level，前10個文檔的查準(zhǔn)率)、RP(recall-level precision，可查全水平查準(zhǔn)率)、RR(reciprocal ranking，第一位相關(guān)文檔的倒數(shù))、NDCG(normalized discounted cumulative gain，規(guī)范化帶減量的累積增長)。研究

3、結(jié)果表明，兩種情形下評價(jià)指標(biāo)NDCG的綜合特性都是最好的，其次是MAP，然后是RP和P@10，綜合特性最差的評價(jià)指標(biāo)都是RR。此外，本文還提出了評價(jià)指標(biāo)困難度指數(shù)的概念，它可以有效地幫助評價(jià)人員對使用不同評價(jià)指標(biāo)得到的不同搜索引擎之間的檢索質(zhì)量進(jìn)行快速地比較，研究結(jié)果表明，評價(jià)指標(biāo)RR的困難度指數(shù)最小，其次是NDCG、P@10、RP,困難度指數(shù)最大的評價(jià)指標(biāo)是MAP。
　　通過本文的研究和討論，基于t檢驗(yàn)的評估方法可以作為評估搜索