npms系統(tǒng)體系結(jié)構(gòu)

1、<p>　　NPMS系統(tǒng)體系結(jié)構(gòu)、功能及接口</p><p><b>　　系統(tǒng)功能定義</b></p><p>　　接收V5格式的NetFlow。</p><p>　　接收V7格式的NetFlow。</p><p>　　接收V8格式的NetFlow。</p><p>　　接收V9格式的N

2、etFlow。</p><p>　　對NetFlow的處理能力不低于10,000條/秒。</p><p>　　能基于源IP地址、目的IP地址、源端口號(hào)、目的端口號(hào)、協(xié)議類型等條件對接收到的NetFlow流過濾。</p><p>　　將過濾（或不過濾）后的NetFlow流，寫入二進(jìn)制文件。</p><p><b>　　支持zlib壓縮

3、。</b></p><p>　　寫入的文件長度可以按時(shí)間或大小來選擇。</p><p>　　文件名能按照某種規(guī)則命名。</p><p>　　后臺(tái)多進(jìn)程方式運(yùn)行。</p><p>　　自適應(yīng)、健壯性。自適應(yīng)一方面是指當(dāng)網(wǎng)絡(luò)設(shè)備發(fā)出的NetFlow流的速率超過設(shè)定值，則采取定時(shí)采樣方式來接收NetFlow流，并將相關(guān)信息寫入日志文件，

4、以保證設(shè)備正常運(yùn)行；另一方面是指系統(tǒng)能根據(jù)網(wǎng)絡(luò)資源情況能動(dòng)態(tài)地啟動(dòng)不同數(shù)量的子進(jìn)程來工作。健壯性是指當(dāng)啟動(dòng)的多個(gè)寫入文件進(jìn)程中的某個(gè)進(jìn)程，由于各種原因成為僵死進(jìn)程時(shí)，其父進(jìn)程應(yīng)及時(shí)將其殺死，以保證系統(tǒng)的健壯性。</p><p>　　日志。日志內(nèi)容包括系統(tǒng)開關(guān)機(jī)時(shí)間，異常情況記錄。</p><p>　　對自身服務(wù)器資源的監(jiān)控。其內(nèi)容包括CPU、內(nèi)存、I/O等。</p><

5、p><b>　　支持轉(zhuǎn)發(fā)功能。</b></p><p>　　能接收多個(gè)網(wǎng)絡(luò)設(shè)備發(fā)送的NetFlow。</p><p><b>　　工具軟件功能定義：</b></p><p>　　1、特定要求發(fā)送特定類型的NetFlow流。</p><p>　　2、模擬DDOS攻擊。</p>&l

6、t;p>　　3、查看NetFlow流文件內(nèi)容。</p><p><b>　　系統(tǒng)體系結(jié)構(gòu)</b></p><p><b>　　硬件體系結(jié)構(gòu)</b></p><p><b>　　軟件體系結(jié)構(gòu)</b></p><p>　　FlowCollecter體系結(jié)構(gòu)－1</p&g

7、t;<p><b>　　設(shè)計(jì)說明：</b></p><p>　　FlowCollecter分成4大部分：Manager、FlowWriteFile、FlowWriteDB，F(xiàn)lowRedirect。</p><p>　　Manager處于該模塊的總控部分。功能定義如下：</p><p>　?。?）、負(fù)責(zé)接受網(wǎng)絡(luò)設(shè)備或探針RTPro

8、be以UDP方式發(fā)送來的NetFlow數(shù)據(jù)包。</p><p>　?。?）、創(chuàng)建消息隊(duì)列MQ。</p><p>　?。?）、fork多個(gè)子進(jìn)程，在每一個(gè)子進(jìn)程中執(zhí)行FlowWriteFile。</p><p>　　（4）、創(chuàng)建共享內(nèi)存ShMem，并將簡單的NetFlow信息或統(tǒng)計(jì)信息存放在ShMem中。這里簡單的定義是做這些工作對Manager的影響不大。</

9、p><p>　?。?）、根據(jù)配置文件中的過濾規(guī)則，實(shí)現(xiàn)對NetFlow的過濾。過濾規(guī)則，可以基于源IP地址、目的IP地址、源端口號(hào)、目的端口號(hào)、協(xié)議類型等。</p><p>　　（6）、采用心跳（heartbeat）機(jī)制實(shí)現(xiàn)對子進(jìn)程FlowWirteFile的監(jiān)管。即當(dāng)子進(jìn)程沒有在規(guī)定的時(shí)間（應(yīng)定義為多少？），向定義的端口（1212）發(fā)送“子進(jìn)程標(biāo)識(shí)”信息，就認(rèn)為該子進(jìn)程為僵死進(jìn)程，父進(jìn)程監(jiān)控

10、該端口，然后殺死該子進(jìn)程。</p><p>　　FlowWirteFile處于該模塊的第二部分。功能定義如下：</p><p>　?。?）、從Manager創(chuàng)建的消息隊(duì)列中取出NetFlow數(shù)據(jù)。</p><p>　　（2）、拆分NetFlow包。</p><p>　?。?）、打包。將NetFlow數(shù)據(jù)按照我們自定義的協(xié)議格式xFlow，重新

11、打包。</p><p>　　注：拆包和打包的任務(wù)也可以考慮在Manager部分完成。</p><p>　　（4）、寫入文件。將xFlow寫入文件。注：應(yīng)考慮文件格式（二進(jìn)制文件，類似RRD循環(huán)文件格式等）。</p><p>　?。?）、實(shí)現(xiàn)zlib壓縮功能。</p><p>　?。?）、能按照命名規(guī)則自動(dòng)取文件名。</p>&l

12、t;p>　　（7）、能按照接收流的時(shí)間或文件長度規(guī)則，自動(dòng)截取文件長度。也就是說NetFlow流文件不會(huì)是一個(gè)文件，而是一系列文件的集合。</p><p>　　FlowWriteDB處于該模塊的第三部分。功能定義如下：</p><p>　　（1）、從FlowFile文件中讀取NetFlow數(shù)據(jù)。</p><p>　?。?）、寫入到PostgreSQL數(shù)據(jù)庫。&

13、lt;/p><p>　　FlowRedirect處于該模塊的第四部分。功能定義如下：</p><p>　?。?）、從FlowFile文件中讀NetFlow數(shù)據(jù)。</p><p>　?。?）、將NetFlow數(shù)據(jù)以UDP的方式轉(zhuǎn)發(fā)到某臺(tái)主機(jī)。</p><p>　　FlowCollecter體系結(jié)構(gòu)－2：</p><p>&l

14、t;b>　　設(shè)計(jì)說明：</b></p><p>　　FlowCollecter分成3大部分：Manager、FlowWriteFile、FlowWriteDB。</p><p>　　Manager處于該模塊的總控部分。功能定義如下：</p><p>　　（1）、負(fù)責(zé)接受網(wǎng)絡(luò)設(shè)備或探針RTProbe以UDP方式發(fā)送來的NetFlow數(shù)據(jù)包。</

15、p><p>　　（2）、創(chuàng)建消息隊(duì)列n個(gè)有名管道。</p><p>　?。?）、fork多個(gè)子進(jìn)程，在每一個(gè)子進(jìn)程中執(zhí)行FlowWriteFile。</p><p>　?。?）、創(chuàng)建共享內(nèi)存ShMem，并將簡單的NetFlow信息或統(tǒng)計(jì)信息存放在ShMem中。這里簡單的定義是做這些工作對Manager的影響不大。</p><p>　　（5）、根據(jù)

16、配置文件中的過濾規(guī)則，實(shí)現(xiàn)對NetFlow的過濾。過濾規(guī)則，可以基于源IP地址、目的IP地址、源端口號(hào)、目的端口號(hào)、協(xié)議類型等。</p><p>　　（6）、采用心跳（heartbeat）機(jī)制實(shí)現(xiàn)對子進(jìn)程FlowWirteFile的監(jiān)管。即當(dāng)子進(jìn)程沒有在規(guī)定的時(shí)間（應(yīng)定義為多少？），向定義的端口（1212）發(fā)送“子進(jìn)程標(biāo)識(shí)”信息，就認(rèn)為該子進(jìn)程為僵死進(jìn)程，父進(jìn)程監(jiān)控該端口，然后殺死該子進(jìn)程。</p>

17、<p>　　FlowWirteFile處于該模塊的第二部分。功能定義如下：</p><p>　?。?）、從Manager創(chuàng)建的管道中取出NetFlow數(shù)據(jù)。</p><p>　?。?）、拆分NetFlow包。</p><p>　?。?）、打包。將NetFlow數(shù)據(jù)按照我們自定義的協(xié)議格式xFlow，重新打包。</p><p>　　

18、注：拆包和打包的任務(wù)也可以考慮在Manager部分完成。</p><p>　?。?）、寫入文件。將xFlow寫入文件。注：應(yīng)考慮文件格式（二進(jìn)制文件，類似RRD循環(huán)文件格式等）。</p><p>　　（5）、實(shí)現(xiàn)zlib壓縮功能。</p><p>　　（6）、能按照命名規(guī)則自動(dòng)取文件名。</p><p>　?。?）、能按照接收流的時(shí)間或文件長

19、度規(guī)則，自動(dòng)截取文件長度。也就是說NetFlow流文件不會(huì)是一個(gè)文件，而是一系列文件的集合。</p><p>　　FlowWriteDB處于該模塊的第三部分。功能定義如下：</p><p>　　（1）、從FlowFile文件中讀取NetFlow數(shù)據(jù)。</p><p>　?。?）、寫入到PostgreSQL數(shù)據(jù)庫。</p><p>　　Flow

20、Redirect處于該模塊的第四部分。功能定義如下：</p><p>　?。?）、從FlowFile文件中讀NetFlow數(shù)據(jù)。</p><p>　?。?）、將NetFlow數(shù)據(jù)以UDP的方式轉(zhuǎn)發(fā)到某臺(tái)主機(jī)。</p><p><b>　　系統(tǒng)接口定義</b></p><p>　　Manager部分接口定義：</p&

21、gt;<p>　　（1）、NetFlow V5格式</p><p>　　V5頭格式（24個(gè)字節(jié)）</p><p>　　V5記錄格式 (48個(gè)字節(jié))</p><p>　?。?）、NetFlow V7格式（Catalyst 5000）</p><p>　　V7頭格式（24個(gè)字節(jié)）</p><p>　　V7記錄