基于中文分詞的搜索引擎設(shè)計實現(xiàn).pdf

1、本項目是公司的電子商務(wù)網(wǎng)站項目下的一個關(guān)鍵子項目，項目的設(shè)計要求包括根據(jù)已有的分詞算法，實現(xiàn)自有的中文分詞系統(tǒng)，設(shè)計實現(xiàn)一個規(guī)模適中的搜索引擎系統(tǒng)，具備較強(qiáng)的擴(kuò)展性和穩(wěn)定性，控制搜索引擎的規(guī)模。 雖然搜索引擎技術(shù)目前已經(jīng)有較為成熟的解決方案，但是由于項目特別限定了搜索引擎，包括中文分詞處理技術(shù)，都需要采用完全自有的設(shè)計方案，因此本文所針對的搜索引擎架構(gòu)設(shè)計，以及中文分詞算法的實現(xiàn)，都沒有采用已經(jīng)成型的開源設(shè)計方案。 搜索

2、引擎設(shè)計采用了層次化的設(shè)計結(jié)構(gòu)，將搜索引擎劃分為五個層次，分別是接口層，核心層，存儲層，監(jiān)控系統(tǒng)和中文分詞系統(tǒng)。接口層負(fù)責(zé)處理外部程序與搜索引擎的通信過程。核心層包括四個子系統(tǒng)：中心控制系統(tǒng)，競價系統(tǒng)，搜索節(jié)點和分詞系統(tǒng)，中心控制系統(tǒng)是搜索引擎的核心調(diào)度系統(tǒng)，競價系統(tǒng)是搜索引擎可以實現(xiàn)經(jīng)濟(jì)效益。存儲層是搜索引擎索引數(shù)據(jù)的存儲系統(tǒng)所在位置，其中包括了索引目錄服務(wù)和數(shù)據(jù)存儲節(jié)點，存儲節(jié)點可隨需求進(jìn)行擴(kuò)展，增撤節(jié)點只要在目錄服務(wù)中作出相應(yīng)更新

3、就可以實現(xiàn)存儲節(jié)點的擴(kuò)展。搜索引擎集群在運(yùn)行時，需要一個監(jiān)控系統(tǒng)來實時監(jiān)控系統(tǒng)各服務(wù)以及網(wǎng)絡(luò)的運(yùn)行狀態(tài)，便于及時發(fā)現(xiàn)解決問題，保障系統(tǒng)的在線正常運(yùn)行。中文分詞子系統(tǒng)在查詢和更新中被調(diào)用，進(jìn)行信息的分詞處理。搜索引擎?zhèn)€子系統(tǒng)間的通信，采用了成熟的HTTP協(xié)議，該協(xié)議性能穩(wěn)定成熟，通過專門設(shè)計的HTTP Server達(dá)到非常高的傳輸性能。 搜索引擎的索引數(shù)據(jù)隨著時間的積累會越來越多，系統(tǒng)設(shè)計采取了分布式存儲方式來滿足搜索性能和存儲容