基于NUTCH的網(wǎng)站資源智能分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、廈門大學(xué)學(xué)位論文原創(chuàng)性聲明本人呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下，獨(dú)立完成的研究成果。本人在論文寫作中參考其他個(gè)人或集體已經(jīng)發(fā)表的研究成果，均在文中以適當(dāng)方式明確標(biāo)明，并符合法律規(guī)范和《廈門大學(xué)研究生學(xué)術(shù)活動(dòng)規(guī)范(試行)》。另外，該學(xué)位論文為()課題(組)的研究成果，獲得()課題(組)經(jīng)費(fèi)或?qū)嶒?yàn)室的資助，在()實(shí)驗(yàn)室完成。(請(qǐng)?jiān)谝陨侠ㄌ?hào)內(nèi)填寫課題或課題組負(fù)責(zé)人或?qū)嶒?yàn)室名稱，未有此項(xiàng)聲明內(nèi)容的，可以不作特別聲明。)聲明人(簽名)：廛報(bào)羲≯【

2、V年f。月印日摘要隨著互聯(lián)網(wǎng)的不斷深入發(fā)展，目前互聯(lián)網(wǎng)正處在歷史發(fā)展的最快時(shí)期，各大網(wǎng)站的資源也越來(lái)越豐富，用戶訪問(wèn)量大，導(dǎo)致服務(wù)器端壓力加大，響應(yīng)速度變慢。而解決這一關(guān)鍵問(wèn)題的手段是緩存，也就是通過(guò)開(kāi)源的squid，進(jìn)行內(nèi)容的緩存。而緩存的內(nèi)容其實(shí)是有限制的，必須只對(duì)于靜態(tài)時(shí)間較長(zhǎng)的域名和URL作緩存，故分析資源(域名和Ⅵ也)的可緩存成為了當(dāng)務(wù)之急。目前緩存廠家對(duì)于網(wǎng)站的域名的動(dòng)靜態(tài)分析還處于人工分析的階段，運(yùn)維人員需要手工的撥測(cè)域名

3、，抽樣其中的部分針對(duì)性URL進(jìn)行動(dòng)靜態(tài)的分析，然后做出動(dòng)靜態(tài)的人為判斷，這樣的做法，導(dǎo)致很多域名加入到緩存的白名單后，被客戶投訴，直接的原因就是對(duì)網(wǎng)站中域名的動(dòng)靜態(tài)分析不準(zhǔn)確。正確的做法是對(duì)網(wǎng)站進(jìn)行全局的自動(dòng)化分析，然后得到域名的動(dòng)靜態(tài)分析報(bào)告。而基于NUTCH的網(wǎng)站資源分析系統(tǒng)是目前可以接受且最實(shí)用的解決方案論文的主要工作有：1、分析可緩存資源的可緩存規(guī)則，分析整理出合理的可緩存分析規(guī)則，分析規(guī)則包含域名的可緩存規(guī)則和URL的可緩存分