基于可擴展分布式架構(gòu)的高校搜索引擎研究與實現(xiàn).pdf

1、近年來，高校信息系統(tǒng)的信息量隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，呈爆炸趨勢增長，它的資源日趨豐富，應用范圍也在不斷擴大。經(jīng)爬蟲檢測，從東華大學網(wǎng)站首頁進入可到達的Web網(wǎng)頁即超過10萬篇，而廣大師生對信息的需求還不僅如此，校外的精品課程信息、入學招生信息都可以納入師生的需求范圍。這就增強了高校師生對搜索技術(shù)的依賴性，搜索引擎成為了師生獲取知識信息的工具，也成為高校網(wǎng)站中使用率最高的工具之一。
　　 本文結(jié)合東華大學對于信息檢索的需求，并考

2、慮到今后快速不斷增加的信息量與訪問量，研究了搜索引擎基本原理與分布式系統(tǒng)基本原理，并基于Linux系統(tǒng)，結(jié)合開源軟件提出了一個分布式架構(gòu)，這個架構(gòu)具有很好的可擴展性，可隨著用戶數(shù)量和網(wǎng)頁數(shù)量的不斷增加而輕易的擴展其系統(tǒng)性能，無需中斷服務(wù)。作為一個理論與實踐相結(jié)合的研究課題，本文的主要工作和研究成果包括：
　　 1．搜索引擎基本理論和算法的研究，包括爬蟲的算法和架構(gòu)、中文分詞算法、倒排索引的結(jié)構(gòu)和建立方法、搜索結(jié)果排序算法等。

3、r>　　 2．分布式系統(tǒng)理論研究，包括負載平衡算法、分布式緩存、MapReduce計算模型等。
　　 3．提出具有爬蟲子系統(tǒng)、預處理子系統(tǒng)、查詢子系統(tǒng)的東華大學搜索引擎架構(gòu)的設(shè)計方案，其中使用Lucene作為倒排索引的建立和檢索框架，使用中科院ICTLAS組件作為中文分詞工具。著重解決了爬蟲子系統(tǒng)中URL解析和擴展隊列問題、Lucene中文分詞擴展問題和搜索結(jié)果的排序評分算法。
　　 4．提出分布式架構(gòu)的設(shè)計，包括使用