移動(dòng)互聯(lián)網(wǎng)信息集成和位置檢索的關(guān)鍵技術(shù)研究與應(yīng)用.pdf

1、隨著移動(dòng)互聯(lián)網(wǎng)快速發(fā)展，人人都可以通過高速網(wǎng)絡(luò)在智能手機(jī)端獲取互聯(lián)網(wǎng)信息，而移動(dòng)互聯(lián)網(wǎng)搜索便是日常人們獲取信息的主要方式之一。移動(dòng)搜索有其自身的特點(diǎn)，由于智能手機(jī)自身的局限性如屏幕小、計(jì)算能力弱等，所以在面向海量的結(jié)果集中往往難以準(zhǔn)確地定位到精確、個(gè)性化的結(jié)果。位置服務(wù)是在GIS平臺(tái)的支持下為用戶提供準(zhǔn)確的地理位置服務(wù)。當(dāng)前很多相關(guān)的行業(yè)如社交、生活等應(yīng)用中，都包含有類似“附近搜索”的功能，為用戶提供精確服務(wù)。特定的行業(yè)結(jié)合附近搜索功能

2、，就是垂直型位置搜索服務(wù)。垂直型的位置檢索服務(wù)主要整合行業(yè)領(lǐng)域的關(guān)聯(lián)資源，通過搜索可以為用戶提供更加個(gè)性化的信息服務(wù)。
　　本文基于開源企業(yè)級(jí)全文檢索引擎Solr實(shí)現(xiàn)了位置服務(wù)檢索系統(tǒng)。首先基于網(wǎng)絡(luò)爬蟲技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了信息集成子系統(tǒng)。該子系統(tǒng)主要研究并實(shí)現(xiàn)了任務(wù)調(diào)度、URL去重、析取以及存儲(chǔ)四個(gè)方面的關(guān)鍵技術(shù)。任務(wù)調(diào)度模塊重點(diǎn)研究了深度優(yōu)先的URL調(diào)度策略算法；URL去重模塊則研究分析并實(shí)現(xiàn)了Bloom Filter去重算法；析取

3、模塊主要利用了pyquery解析HTML網(wǎng)頁(yè)，以及研究分析網(wǎng)絡(luò)爬蟲過程中偽代理、反防盜鏈等技術(shù)；存儲(chǔ)模塊則主要為MySQL數(shù)據(jù)庫(kù)存取接口的設(shè)計(jì)與實(shí)現(xiàn)。其次，基于Solr設(shè)計(jì)并實(shí)現(xiàn)了移動(dòng)互聯(lián)網(wǎng)位置檢索子系統(tǒng)，其中主要包括了空間索引、索引創(chuàng)建、搜索、緩存和分布式五個(gè)方面?？臻g索引主要研究分析了GeoHas h和Cartesian Tiers分層算法原理，重點(diǎn)探討了GeoHash算法編碼；索引模塊則主要實(shí)現(xiàn)了smartcn、IKAnalyze

4、r和Ansj三種比較高效的中文分詞算法；搜索模塊主要研究如何構(gòu)建查詢語句；緩存則著重研究分析了Solr中filterQueryCache、documentCache和queryResultCache三種緩存原理以及實(shí)現(xiàn)；分布式主要研究分析了Solr分布式索引和查詢的原理并且實(shí)現(xiàn)了3個(gè)節(jié)點(diǎn)的分布式集群，提高了系統(tǒng)的可靠性和性能。最后，針對(duì)不同功能模塊分別作了相應(yīng)的功能測(cè)試，并利用So lrM eter和Ga nglia對(duì)系統(tǒng)做了性能的測(cè)試