啟發(fā)式算法在自動(dòng)文本分類(lèi)中的研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)規(guī)模和應(yīng)用領(lǐng)域不斷擴(kuò)張，海量的信息和資源以電子化形式記錄，文本是其中使用最頻繁的方式。大數(shù)據(jù)背景下對(duì)海量文本進(jìn)行內(nèi)容檢索、管理和信息挖掘提出新的挑戰(zhàn)，基于模式識(shí)別的文本分類(lèi)技術(shù)占據(jù)主導(dǎo)地位。在自然語(yǔ)言處理和信息過(guò)濾應(yīng)用中，文本語(yǔ)料存在標(biāo)簽多樣性、關(guān)聯(lián)復(fù)雜性和更新變化頻繁等特征且隨其規(guī)模增長(zhǎng)矛盾愈演愈烈。文本挖掘當(dāng)前存在擴(kuò)展不便、數(shù)據(jù)集缺乏等困難，需求高精確度，低時(shí)、空消耗之綜合解決方案。
　　啟發(fā)式算法是人們?cè)谏詈蛯?shí)踐中，

2、通過(guò)觀察自然規(guī)律，生物行為，物理變化和社會(huì)行為所總結(jié)出用來(lái)解決問(wèn)題的經(jīng)驗(yàn)、規(guī)則和方法。啟發(fā)模型對(duì)于解決組合優(yōu)化問(wèn)題具備應(yīng)用靈活、執(zhí)行高效和結(jié)果可靠之特點(diǎn)，為解決文本分類(lèi)問(wèn)題提供新的途徑。現(xiàn)有文本分類(lèi)模型中已經(jīng)嘗試使用局部搜索、遺傳算法等啟發(fā)式手段實(shí)現(xiàn)組合尋優(yōu)，但存在迭代時(shí)間過(guò)長(zhǎng)、精確度不高之問(wèn)題。
　　論文將啟發(fā)式算法與文本分類(lèi)技術(shù)結(jié)合與改進(jìn)，并以此為核心設(shè)計(jì)實(shí)現(xiàn)了教育網(wǎng)網(wǎng)絡(luò)環(huán)境凈化系統(tǒng)。首先提出可以作為有標(biāo)簽特征集或樣本集線性可

3、分程度評(píng)價(jià)方法的LW測(cè)量。LW是線性度量方式，計(jì)算時(shí)間復(fù)雜度低、精確度高以及對(duì)噪聲抗干擾性強(qiáng)。LW越高，表示特征集或樣本集在類(lèi)別劃分層面，線性可分程度愈優(yōu)秀，此時(shí)該特征集或樣本集在分類(lèi)問(wèn)題上表現(xiàn)愈好，尤其是線性目標(biāo)函數(shù)的模型。其次，將遺傳算法和模擬退火算法兩種啟發(fā)式算法與文本挖掘技術(shù)結(jié)合，提出LW-GA和LW-SA兩種特征選擇模型。LW-GA結(jié)合LW和遺傳算法，LW測(cè)量與遺傳算法分別解決高維問(wèn)題搜索特征域空間與迭代評(píng)價(jià)特征集耗時(shí)長(zhǎng)問(wèn)題。