行業(yè)網(wǎng)站分類方法研究與應(yīng)用.pdf

1、文章主要討論自學(xué)習(xí)行業(yè)網(wǎng)站分類方法研究中的一些關(guān)鍵技術(shù)，并在此基礎(chǔ)上設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)行業(yè)網(wǎng)站分類系統(tǒng)進(jìn)行。通過對特定行業(yè)“種子”網(wǎng)站的鏈接結(jié)構(gòu)進(jìn)行分析，系統(tǒng)將有選擇的從互聯(lián)網(wǎng)抓取網(wǎng)頁，對當(dāng)前的行業(yè)網(wǎng)站集合進(jìn)行擴(kuò)展；同時(shí)，通過分析行業(yè)網(wǎng)站的層次結(jié)構(gòu)，獲取最能代表網(wǎng)站主題的那部分頁面，關(guān)鍵詞模型的構(gòu)建和網(wǎng)站主題的識別都將基于這部分頁面，通過將這部分頁面和現(xiàn)有的關(guān)鍵詞模型進(jìn)行匹配度分析來確定一個(gè)網(wǎng)站是否應(yīng)該被加入當(dāng)前行業(yè)網(wǎng)站集合中，重復(fù)這個(gè)過

2、程，最終達(dá)到對行業(yè)網(wǎng)站進(jìn)行分類的目的。 論文工作主要包括以下三方面的內(nèi)容： (1)網(wǎng)站主題關(guān)鍵詞模型 關(guān)鍵詞模型首先來自于對“種子網(wǎng)站”的分析，隨著網(wǎng)站群體的擴(kuò)展，可以對模型進(jìn)行動(dòng)態(tài)的調(diào)整。適合采用的關(guān)鍵詞模型技術(shù)包括向量空間模型和概率檢索模型等。無論采用哪種模型，都將包含多個(gè)信息項(xiàng)，比如：詞頻、引用數(shù)、語義關(guān)聯(lián)性等。 (2)專業(yè)網(wǎng)站有用鏈接分布情況研究 對于行業(yè)網(wǎng)站分類系統(tǒng)而言，能否盡可能多地發(fā)

3、現(xiàn)屬于該行業(yè)的網(wǎng)站對于行業(yè)網(wǎng)站分類結(jié)果的完整性有著決定性的影響，而這，又是由分類系統(tǒng)能否盡可能多的提取出指向同行業(yè)其他網(wǎng)站的鏈接的能力決定的，在本文中，我們稱這種指向同一個(gè)行業(yè)其他網(wǎng)站的鏈接為有用鏈接。作者通過對醫(yī)藥類行業(yè)網(wǎng)站的有用鏈接分布情況進(jìn)行研究、實(shí)驗(yàn)，發(fā)現(xiàn)了專業(yè)網(wǎng)站內(nèi)有用鏈接分布的一般規(guī)律，利用這個(gè)規(guī)律，能夠提高系統(tǒng)的效率和有用鏈接的發(fā)現(xiàn)能力。 (3)最能代表網(wǎng)站主題的網(wǎng)頁確定算法 相對于現(xiàn)有的網(wǎng)站識別、分類系統(tǒng)

4、，本系統(tǒng)在進(jìn)行主題判斷時(shí)，是以網(wǎng)站為單位。同時(shí)，對網(wǎng)站主題的判斷不是簡單的對該網(wǎng)站所有網(wǎng)頁的主題進(jìn)行計(jì)算后累加，而是通過對最能代表網(wǎng)站主題的那部分網(wǎng)頁進(jìn)行主題計(jì)算，以計(jì)算結(jié)果作為網(wǎng)站主題的判斷結(jié)果，從而提高主題判斷效率；但是，隨之而來的問題是在一個(gè)網(wǎng)站中，如何確定哪些網(wǎng)頁最能代表該網(wǎng)站主題，這是論文的一個(gè)主要研究內(nèi)容。 實(shí)驗(yàn)結(jié)果表明論文的工作是相當(dāng)有成效的，尤其是網(wǎng)站主題的概念以及有用鏈接分布情況的研究，具有很強(qiáng)的創(chuàng)新性和實(shí)用價(jià)