分布式垂直搜索引擎在ERMS中的研究與應(yīng)用.pdf

1、ERMS（電子文檔管理系統(tǒng)）為當(dāng)前企業(yè)或政府部門的海量電子文檔進(jìn)行全生命周期的管理提供了很好的解決方案，其中對(duì)海量電子文檔的搜索和查找是ERMS中的核心功能。通常，ERMS使用了搜索引擎技術(shù):在文件登記后對(duì)電子文件進(jìn)行索引，用戶就能查詢到相應(yīng)的電子文件;當(dāng)文件銷毀時(shí)，索引庫中對(duì)應(yīng)電子文件的索引項(xiàng)被刪除，用戶就無法查詢到對(duì)應(yīng)的電子文件。由于系統(tǒng)中的電子文件的數(shù)量呈現(xiàn)指數(shù)級(jí)的增長，為了能夠處理海量數(shù)據(jù)及改善搜索的準(zhǔn)確性，本文采用了分布式搜索

2、技術(shù)，同時(shí)利用樸素貝葉斯分類算法對(duì)待索引文檔進(jìn)行自動(dòng)分類，并結(jié)合Solr的切面技術(shù)，實(shí)現(xiàn)了垂直搜索。
　　論文利用搜索引擎技術(shù)，基于ERMS系統(tǒng)，設(shè)計(jì)和實(shí)現(xiàn)了分布式垂直搜索引擎。當(dāng)ERMS系統(tǒng)對(duì)電子文件進(jìn)行登記歸檔時(shí)，首先基于樸素貝葉斯算法，對(duì)電子文件進(jìn)行自動(dòng)分類;電子文件分類完畢后，根據(jù)電子文件所屬類別，基于一致性哈希算法對(duì)電子文件進(jìn)行分布式索引，索引的內(nèi)容包括電子文件的重要元數(shù)據(jù)和電子文件包含的電子文檔的相關(guān)元數(shù)據(jù);索引文件建

3、立完畢后，用戶可以輸入查詢語句進(jìn)行電子文件的查詢，具體實(shí)現(xiàn)采用了開源搜索工具Solr的分發(fā)(shard)模式，將查詢請(qǐng)求分發(fā)到分布式節(jié)點(diǎn)，各個(gè)分布式節(jié)點(diǎn)響應(yīng)搜索請(qǐng)求，然后對(duì)結(jié)果進(jìn)行合并去重，排序好返回給用戶。從系統(tǒng)的穩(wěn)定性出發(fā)，主要考慮了如下兩個(gè)方面進(jìn)行系統(tǒng)優(yōu)化:一是高并發(fā)請(qǐng)求處理方面，主要對(duì)分布式節(jié)點(diǎn)進(jìn)行優(yōu)化，同時(shí)引入了負(fù)載均衡，使系統(tǒng)能夠快速處理高并發(fā)情況下的用戶請(qǐng)求;二是系統(tǒng)容災(zāi)方面，采用了主-從(master-slave)架構(gòu)，