基于Java技術(shù)的搜索引擎研究與實現(xiàn).pdf

1、在互聯(lián)網(wǎng)蓬勃發(fā)展的今天，互聯(lián)網(wǎng)上的信息更是浩如煙海。人們在享受互連網(wǎng)帶來的便利的同時，卻面臨著一個如何在如此海量的內(nèi)容中準確、快捷地找到自己所需要的信息的問題，由此互聯(lián)網(wǎng)搜索引擎應運而生。當前對于搜索引擎的研究是互聯(lián)網(wǎng)技術(shù)中最熱門的領(lǐng)域。 本文對搜索引擎的原理、組成、數(shù)據(jù)結(jié)構(gòu)、工作流程等方面做了深入而細致地研究與分析。搜索引擎的未來發(fā)展方向是個性化、智能化。對于不同類型的用戶群搜索相同的內(nèi)容將得到不同的更適合用戶的搜索結(jié)果，這就

2、是搜索引擎的個性化；而智能化則指搜索引擎具有自我學習的功能，能自動地適應用戶的查詢需求，并能對用戶進行智能分類從而為搜索引擎的個性化提供依據(jù)。 在理論研究的基礎(chǔ)上，本文還利用Java技術(shù)對搜索引擎的三個核心部分即網(wǎng)絡蜘蛛、網(wǎng)頁索引、搜索進行了實現(xiàn)。網(wǎng)絡蜘蛛部分采用了非遞歸爬取方式和Java的多線程機制，利用一個基于內(nèi)存的作業(yè)隊列管理器負責網(wǎng)頁抓取過程中URL鏈接的加入、分配、處理等作業(yè)，同時使用線程池管理多個抓取線程，并發(fā)抓取網(wǎng)