基于查詢接口特征的深度網(wǎng)絡(luò)資源聚類分析.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展，給人們帶來了海量的信息，并且這些信息仍然在快速增長。整個互聯(lián)網(wǎng)可以劃分為表層網(wǎng)絡(luò)和深度網(wǎng)絡(luò)兩部分，其中表層網(wǎng)絡(luò)是指通過超鏈接可以被傳統(tǒng)搜索引擎索引到的頁面的集合，而深度網(wǎng)絡(luò)指的是互聯(lián)網(wǎng)上的網(wǎng)絡(luò)數(shù)據(jù)庫，其資源只能通過網(wǎng)絡(luò)數(shù)據(jù)庫提供的查詢接口才能訪問。與表層網(wǎng)絡(luò)相比，深度網(wǎng)絡(luò)包含的數(shù)據(jù)質(zhì)量更高、更專業(yè)。然而，由于深度網(wǎng)絡(luò)數(shù)據(jù)的異構(gòu)性和動態(tài)性，必須對其進(jìn)行數(shù)據(jù)集成后才能有效地加以利用，而有效地把這些信息按照領(lǐng)域分類則是對其進(jìn)

2、行數(shù)據(jù)集成的先決條件。 查詢接口是進(jìn)入深度網(wǎng)絡(luò)的唯一途徑，它首先是一個表單，但并非所有的表單都是查詢接口，對此，本文實現(xiàn)表單分類器將查詢接口從表單中分離。同時，通過對查詢接口的實驗，發(fā)現(xiàn)查詢接口所具有的特征可以代表深度數(shù)據(jù)資源的領(lǐng)域及查詢能力，從而利用查詢接口特征來聚類深度網(wǎng)絡(luò)資源。查詢接口與普通文本聚類一個區(qū)別在于查詢接口的特征矩陣稀疏，因此利用傳統(tǒng)的基于距離相似度的凝聚層次聚類算法聚類效果不是很理想，針對該問題，本文利用非參

3、數(shù)假設(shè)檢驗的方法來求類簇間的相似，并改進(jìn)相似度目標(biāo)函數(shù)，將其運用到傳統(tǒng)的凝聚層次聚類算法中，實現(xiàn)對查詢接口的聚類，從而也就實現(xiàn)了對查詢接口所代表的深度網(wǎng)絡(luò)資源的聚類。 運用假設(shè)檢驗進(jìn)行聚類時，因為統(tǒng)計中對事件的觀察值有要求，而初始類簇不經(jīng)處理可能不滿足假設(shè)檢驗的要求，針對該問題，本文使用對查詢接口進(jìn)行預(yù)處理的思想即首先對所有查詢接口進(jìn)行接口類型過濾，然后根據(jù)屬性間的包含程度將數(shù)據(jù)分組，再根據(jù)屬性的發(fā)生次數(shù)對組進(jìn)行過濾，最后只對那