垂直搜索中信息屬性抽取和分類模型研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的普及和發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們生活、學(xué)習(xí)、工作、娛樂的重要途徑?；ヂ?lián)網(wǎng)作為信息載體，近年來以驚人的速度在增長，信息量以TB計算，擁有上千萬個網(wǎng)站、數(shù)十億的用戶，而且這個數(shù)量還在不斷的增長。Web的發(fā)展改進了人們的生活方式，越來越多的人通過網(wǎng)絡(luò)來發(fā)布信息和搜索信息。由于Web信息抽取可以將網(wǎng)絡(luò)上網(wǎng)頁的主題內(nèi)容提取出來，并以統(tǒng)一的結(jié)構(gòu)形式存儲，因此整個互聯(lián)網(wǎng)將會變成一個巨大的數(shù)據(jù)庫，從而為互聯(lián)網(wǎng)上海量數(shù)據(jù)的再利用提供了可能，構(gòu)建垂

2、直搜索引擎就是應(yīng)用之一。與主題相關(guān)的Web文本信息的抽取是影響垂直搜索性能的關(guān)鍵技術(shù)，垂直搜索中的Web信息抽取是從具有相同主題、分散存放、表現(xiàn)各異的半結(jié)構(gòu)化信息中抽取出特定的結(jié)構(gòu)化信息，重新形成結(jié)構(gòu)良好、便于檢索和表示的數(shù)據(jù)，因而Web信息抽取技術(shù)成為當(dāng)今研究的熱點。
　　 本文對基于神經(jīng)網(wǎng)絡(luò)的信息抽取方法進行研究，分析其缺陷，并提出改進方法。文中對改進方法進行了詳細(xì)闡述，并通過實驗驗證該方法的可行性。改進的方面有：
　

3、　 1)在過濾原則中加入了相關(guān)度計算，即將每行文本的文字內(nèi)容與標(biāo)題的相關(guān)度作為神經(jīng)網(wǎng)絡(luò)的一個訓(xùn)練參數(shù)。
　　 2)在對頁面文檔進行信息統(tǒng)計前，先將網(wǎng)頁代碼中書寫不規(guī)范的代碼行進行合并，以提高算法的處理效率。
　　 3)采用BP神經(jīng)網(wǎng)絡(luò)作為訓(xùn)練模型，依靠其多次反復(fù)修改權(quán)值和閾值的特性，獲得更合理的閾值。
　　 另外，本文在改進算法的基礎(chǔ)上結(jié)合文本分類知識設(shè)計了一個信息抽取和分類模型，并在此模型的基礎(chǔ)上實現(xiàn)了一個信