個性化檢索中主題標(biāo)引與偏好挖掘算法的并行化研究.pdf

1、隨著傳統(tǒng)搜索引擎技術(shù)發(fā)展的成熟，個性化智能檢索逐漸成為搜索引擎的主要發(fā)展方向。通過對用戶的主題偏好建模，實(shí)現(xiàn)基于主題的個性化檢索，將有助于發(fā)現(xiàn)用戶的潛在需求，提高檢索服務(wù)的質(zhì)量。主題相關(guān)信息的計算，包括文檔的主題標(biāo)引、用戶主題偏好的挖掘等，在面對海量數(shù)據(jù)時，計算性能是一個瓶頸，而全文檢索對于響應(yīng)時間又有著較高的要求。因此，個性化檢索中計算性能的改進(jìn)是一個重要研究方向。
　　如今MapReduce計算框架被廣泛用于大數(shù)據(jù)的處理。但它

2、的一些缺陷，包括啟動任務(wù)耗時長、中間數(shù)據(jù)過多地進(jìn)行磁盤IO等，使得它不適用于對時間性能要求較高的應(yīng)用。為此，采用YARN作為底層分布式資源管理平臺，根據(jù)個性化檢索相關(guān)計算的特性，選擇更加合適的計算框架，用以改善計算性能。針對個性化檢索中文檔主題標(biāo)引算法計算步驟多、階段性強(qiáng)的特點(diǎn)，選擇DAG計算模型進(jìn)行算法實(shí)現(xiàn)，避免不必要的作業(yè)拆分，從而減少中間結(jié)果的磁盤IO。針對主題偏好挖掘過程中日志分析的實(shí)時性要求，選擇流式計算模型設(shè)計相關(guān)算法，對日

3、志進(jìn)行持續(xù)性實(shí)時分析，解決偏好挖掘過于滯后的問題。通過實(shí)驗(yàn)對比發(fā)現(xiàn)，以YARN為底層管理平臺，在此基礎(chǔ)上選擇有針對性的計算框架，可以有效改善計算性能。
　　雖然通過在YARN上采用更加適合的計算框架已大幅度提高了計算性能，但仍然存在優(yōu)化的空間。一方面，框架間存在數(shù)據(jù)交互，這部分?jǐn)?shù)據(jù)有著大規(guī)模隨機(jī)讀的特性，通過合理設(shè)置緩存機(jī)制可以加速數(shù)據(jù)的獲??；另一方面，離線計算中的排序策略耗時較多，而個性化搜索中部分計算對計算結(jié)果是否有序不做要求