社交網(wǎng)絡(luò)中垃圾內(nèi)容過(guò)濾方法研究.pdf

1、社交網(wǎng)絡(luò)中垃圾內(nèi)容過(guò)濾的核心方法現(xiàn)今主要分為基于規(guī)則的模式匹配過(guò)濾方法和基于非平衡數(shù)據(jù)集的機(jī)器學(xué)習(xí)過(guò)濾方法。隨著智能終端設(shè)備的普及，社交網(wǎng)絡(luò)信息的實(shí)時(shí)數(shù)據(jù)量爆炸式增長(zhǎng)，兩大方法協(xié)同使用成為過(guò)濾其中垃圾內(nèi)容的主要方案。第一層次過(guò)濾使用第一種方法，不斷追求更快的處理速度，第二層次過(guò)濾使用第二種方法，不斷追求更高的分類(lèi)能力。本文在這兩個(gè)方向均提出了自己的想法，相關(guān)研究工作如下:
　　在基于規(guī)則的模式匹配過(guò)濾方法這方面，為了有效提升處理速

2、度，提出基于硬件FPGA的多模式匹配算法ACF。ACF算法借鑒AC狀態(tài)自動(dòng)機(jī)的思想，去掉Failure失敗轉(zhuǎn)移函數(shù)，構(gòu)造基于4位的16叉樹(shù)的匹配型狀態(tài)自動(dòng)機(jī)。實(shí)驗(yàn)表明ACF算法是可行的，處理性能相比同類(lèi)算法顯著提高，能更有效地用于垃圾內(nèi)容過(guò)濾。
　　在基于非平衡數(shù)據(jù)集的機(jī)器學(xué)習(xí)過(guò)濾方法這方面，為了有效提高分類(lèi)能力，提出數(shù)據(jù)重采樣算法SDR。SDR算法將過(guò)采樣機(jī)制與欠采樣機(jī)制相結(jié)合。過(guò)采樣階段根據(jù)數(shù)據(jù)的空間分布特點(diǎn)構(gòu)造更具分類(lèi)能力的