網(wǎng)絡(luò)蜘蛛,網(wǎng)絡(luò)爬蟲(chóng)

1、網(wǎng)絡(luò)蜘蛛筆記網(wǎng)絡(luò)蜘蛛筆記Java語(yǔ)言在此非常適合構(gòu)建一個(gè)“蜘蛛”程序，其內(nèi)建了對(duì)HTTP協(xié)議的支持，通過(guò)它可以傳輸大部分的網(wǎng)頁(yè)信息；其還內(nèi)建了一個(gè)HTML解析器，正是這兩個(gè)原因使Java語(yǔ)言成為本文構(gòu)建“蜘蛛”程序的首選。使用“蜘蛛”文章后面例1的示例程序，將會(huì)掃描一個(gè)網(wǎng)站，并尋找死鏈接。使用這個(gè)程序時(shí)需先輸入一個(gè)URL并單擊“Begin”按鈕，程序開(kāi)始之后，“Begin”按鈕會(huì)變成“Cancel”按鈕。在程序掃描網(wǎng)站期間，會(huì)在“Can

2、cel”按鈕之下顯示進(jìn)度，且在檢查當(dāng)前網(wǎng)頁(yè)時(shí)，也會(huì)顯示相關(guān)正常鏈接與死鏈接的數(shù)目，死鏈接將顯示在程序底部的滾動(dòng)文本框中。單擊“Cancel”按鈕會(huì)停止掃描過(guò)程，之后可以輸入一個(gè)新的URL；如果期間沒(méi)有單擊“Cancel”，程序?qū)?huì)一直運(yùn)行直到查找完所有網(wǎng)頁(yè)，此后，“Cancel”按鈕會(huì)再次變回“Begin”，表示程序已停止。下面將演示示例程序是如何與可復(fù)用“Spider”類(lèi)交互的，示例程序包含在例1的CheckLinks類(lèi)中，這個(gè)類(lèi)實(shí)現(xiàn)

3、了ISpiderReptable接口，如例2所示，正是通過(guò)這個(gè)接口，蜘蛛類(lèi)才能與示例程序相交互。在這個(gè)接口中，定義了三個(gè)方法：第一個(gè)方法是“spiderFoundURL”，它在每次程序定位一個(gè)URL時(shí)被調(diào)用，如果方法返回true，表示程序應(yīng)繼續(xù)執(zhí)行下去并找出其中的鏈接；第二個(gè)方法是“spiderURLErr”，它在每次程序檢測(cè)URL導(dǎo)致錯(cuò)誤時(shí)被調(diào)用（如“404頁(yè)面未找到”）；第三個(gè)方法是“spiderFoundEMail”，它在每次發(fā)現(xiàn)

4、電子郵件地址時(shí)被調(diào)用。有了這三個(gè)方法，Spider類(lèi)就能把相關(guān)信息反饋給創(chuàng)建它的程序了。在begin方法被調(diào)用后，“蜘蛛”就開(kāi)始工作了；為允許程序重繪其用戶界面，“蜘蛛”是作為一個(gè)單獨(dú)的線程啟動(dòng)的。點(diǎn)擊“Begin”按鈕會(huì)開(kāi)始這個(gè)后臺(tái)線程，當(dāng)后臺(tái)線程運(yùn)行之后，又會(huì)調(diào)用“CheckLinks”類(lèi)的run方法，而run方法是由Spider對(duì)象實(shí)例化時(shí)啟動(dòng)的，如下所示：spider=newSpider(this)spider.clear()b

5、ase=newURL(url.getText())spider.addURL(base)spider.begin()首先，一個(gè)新的Spider對(duì)象被實(shí)例化，在此，需要傳遞一個(gè)“ISpiderReptable”對(duì)象給Spider對(duì)象的構(gòu)造函數(shù)，因?yàn)椤癈heckLinks”類(lèi)實(shí)現(xiàn)了“ISpiderReptable”接口，只需簡(jiǎn)單地把它作為當(dāng)前對(duì)象（可由關(guān)鍵字this表示）傳遞給構(gòu)造函數(shù)即可；其次，在程序中維護(hù)了一個(gè)其訪問(wèn)過(guò)的URL列表，而“

6、clear”方法的調(diào)用則是為了確保程序開(kāi)始時(shí)URL列表為空，程序開(kāi)始運(yùn)行之前必須添加一個(gè)URL到它的待處理列表中，此時(shí)用戶輸入的URL則是添加到列表中的第一個(gè)，程序就由掃描這個(gè)網(wǎng)頁(yè)開(kāi)始，并找到與這個(gè)起始URL相鏈接的其他頁(yè)面；最后，調(diào)用“begin”方法開(kāi)始運(yùn)行“蜘蛛”，這個(gè)方法直到“蜘蛛”工作完畢或用戶取消才會(huì)返回。getWkloadWaiting().remove(url)getWkloadProcessed().add(url)l

7、og(“Notprocessingbecausecontenttypeis:“connection.getContentType())return首先，為每個(gè)傳遞進(jìn)來(lái)的變量url中存儲(chǔ)的URL構(gòu)造一個(gè)“URLConnection”對(duì)象，因?yàn)榫W(wǎng)站上會(huì)有多種類(lèi)型的文檔，而“蜘蛛”只對(duì)那些包含HTML，尤其是基于文本的文檔感興趣。前述代碼是為了確保文檔內(nèi)容以“text”打頭，如果文檔類(lèi)型為非文本，會(huì)從等待區(qū)移除此URL，并把它添加到已處理區(qū)，

8、這也是為了保證不會(huì)再次訪問(wèn)此URL。在對(duì)特定URL建立連接之后，接下來(lái)就要解析其內(nèi)容了。下面的代碼打開(kāi)了URL連接，并讀取內(nèi)容：InputStreamis=connection.getInputStream()Readerr=newInputStreamReader(is)現(xiàn)在，我們有了一個(gè)Reader對(duì)象，可以用它來(lái)讀取此URL的內(nèi)容，對(duì)本文中的“蜘蛛”來(lái)說(shuō)，只需簡(jiǎn)單地把其內(nèi)容傳遞給HTML解析器就可以了。本例中使用的HTML解析器為

9、SwingHTML解析器，其由Java內(nèi)置，但由于Java對(duì)HTML解析的支持力度不夠，所以必須重載一個(gè)類(lèi)來(lái)實(shí)現(xiàn)對(duì)HTML解析器的訪問(wèn)，這就是為什么我們要調(diào)用“HTMLEditKit”類(lèi)中的“getParser”方法。但不幸的是，Sun公司把這個(gè)方法置為protected，唯一的解決辦法就是創(chuàng)建自己的類(lèi)并重載“getParser”方法，并把它置為public，這由“HTMLParse”類(lèi)來(lái)實(shí)現(xiàn)，請(qǐng)看例4：imptjavax.swing.

10、text.html.publicclassHTMLParseextendsHTMLEditKitpublicHTMLEditKit.ParsergetParser()returnsuper.getParser()這個(gè)類(lèi)用在Spider類(lèi)的“processURL”方法中，我們也會(huì)看到，Reader對(duì)象會(huì)用于讀取傳遞到“HTMLEditKit.Parser”中網(wǎng)頁(yè)的內(nèi)容：HTMLEditKit.Parserparse=newHTMLPars