基于FPGA的文本分類高效實(shí)現(xiàn)方法研究.pdf

1、隨著Internet的迅猛發(fā)展，在互聯(lián)網(wǎng)中存在有大量無用甚至是非法的信息，這些信息會(huì)影響人們的正常生活，并對(duì)社會(huì)造成不良的影響，因此需要對(duì)這些信息進(jìn)行過濾。一個(gè)好的過濾系統(tǒng)應(yīng)當(dāng)擁有較快的處理速率同時(shí)盡量減少垃圾內(nèi)容的數(shù)量，這也是信息過濾的關(guān)鍵因素。由于絕大多數(shù)信息一般以文本的方式存在，因此信息過濾主要是對(duì)文本進(jìn)行過濾。
　　 目前信息過濾一般通過如下四種方式進(jìn)行:URL(IP)過濾、關(guān)鍵詞過濾、人工分級(jí)標(biāo)志過濾和基于內(nèi)容理解的過

2、濾。前三種方法過濾精度不高，而基于內(nèi)容理解的過濾（主要有基于文本分類的方法）有運(yùn)行速度慢的缺點(diǎn)，這也是目前研究的熱點(diǎn)。本文旨在改進(jìn)文本分類方法的效率，為該方法的實(shí)際應(yīng)用提供一個(gè)思路。本文所做的主要工作如下:
　　 (1)針對(duì)傳統(tǒng)方法的不足，本文研究并提出了一種軟、硬件結(jié)合的文本分類高效實(shí)現(xiàn)方法。該方法利用FPGA上的硬件資源構(gòu)造了一個(gè)基于CAM的特征查找表，以硬件高速查找來代替軟件查找方法，并利用該硬件查找表的特點(diǎn)設(shè)計(jì)了一種將待

3、分類文本特征抽取和去重兩個(gè)步驟合并處理的高效算法。該方法能有效解決純軟件文本分類系統(tǒng)運(yùn)行速度慢的問題。實(shí)驗(yàn)結(jié)果表明用硬件邏輯實(shí)現(xiàn)查找操作能有19.9倍的提高，對(duì)整個(gè)實(shí)驗(yàn)系統(tǒng)有48％的提高。
　　 (2)系統(tǒng)的研究了網(wǎng)絡(luò)信息過濾模型，分析了使用純軟件方式實(shí)現(xiàn)樸素貝葉斯分類器的主要步驟與影響處理速度的關(guān)鍵因素，據(jù)此設(shè)計(jì)并實(shí)現(xiàn)了基于FPGA的文本分類高效實(shí)現(xiàn)系統(tǒng)。整個(gè)系統(tǒng)由PC機(jī)和FPGA板構(gòu)成，在PC機(jī)端完成對(duì)文本的分詞、特征抽取、