基于機(jī)器學(xué)習(xí)的網(wǎng)站分級(jí)研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)中的不良信息長(zhǎng)久以來(lái)一直存在，而且數(shù)量上呈現(xiàn)增長(zhǎng)趨勢(shì)，其中以色情信息居多，還包含著賭博，傳銷等違法內(nèi)容。為此社會(huì)各界為整治互聯(lián)網(wǎng)環(huán)境獻(xiàn)計(jì)出力，國(guó)家也出臺(tái)了相應(yīng)的法律法規(guī)以規(guī)范網(wǎng)絡(luò)環(huán)境，但是不良信息卻屢禁不止，泛濫成災(zāi)。目前已經(jīng)有許多不良信息攔截系統(tǒng)以軟件或硬件的方式為我們的網(wǎng)絡(luò)環(huán)境更加美好出力，但是其中大多數(shù)系統(tǒng)都“各自為政”，重復(fù)建立自己的黑名單庫(kù)。本系統(tǒng)的目標(biāo)是通過(guò)主動(dòng)檢測(cè)網(wǎng)站內(nèi)容，建立共享的不良信息數(shù)據(jù)庫(kù)，為攔截系統(tǒng)提供公共

2、數(shù)據(jù)支持。
　　本系統(tǒng)通過(guò)研究深度學(xué)習(xí)的圖像分類與文本分類算法，將新型算法運(yùn)用到不良信息分類的任務(wù)中。深度學(xué)習(xí)算法較傳統(tǒng)知識(shí)工程或統(tǒng)計(jì)學(xué)方法需要手動(dòng)提取特征的方法相比，深度學(xué)習(xí)具有自動(dòng)學(xué)習(xí)特征提取的能力，在圖像識(shí)別方面具有更高的分類準(zhǔn)確度。在文本分類算法上提出新方法，將網(wǎng)頁(yè)長(zhǎng)文本截取為短文本再分類，將分類結(jié)果匯總得到網(wǎng)頁(yè)文本的色情比例，并且根據(jù)服務(wù)人群不同調(diào)節(jié)色情比例閾值以滿足不同人群的過(guò)濾需求。在圖像分類算法上，深度卷積模型最為

3、有效，并且深度卷積模型在近幾年的發(fā)展中，又有了長(zhǎng)足進(jìn)步，并發(fā)展出幾種類型的模型，如直線型、局部雙分支型和局部多分支型。本文通過(guò)研究不同類型模型在不良圖片分類任務(wù)上的表現(xiàn)，并采用微調(diào)的方式去訓(xùn)練多種深度卷積模型，最終根據(jù)模型的計(jì)算量消耗與模型的準(zhǔn)確率選擇最合適的圖像分類算法。系統(tǒng)設(shè)計(jì)充分考慮了系統(tǒng)擴(kuò)展性與移植性，并且可利用老舊或閑散設(shè)備作為系統(tǒng)工作節(jié)點(diǎn)，節(jié)省項(xiàng)目資金。
　　本系統(tǒng)主要包括五個(gè)部分，網(wǎng)絡(luò)爬蟲(chóng)模塊、文本分類模塊、圖片分類