基于多fpga的片上網絡模擬平臺設計和實現

1、<p>　　基于多FPGA的片上網絡模擬平臺設計和實現</p><p>　　摘要：針對片上網絡的設計和優(yōu)化問題，提出了一種基于多FPGA的片上網絡模擬平臺結構，用于加速片上網絡的功能驗證和性能評估.通過層次化設計和分布式流量管理器等技術，有效地提高了系統(tǒng)的靈活性，加速了片上網絡的設計空間搜索.實驗結果表明，多FPGA模擬平臺不僅相對于傳統(tǒng)的軟件仿真具有500～10 000倍的加速比，與其他片上網絡模擬平

2、臺相比也具有明顯的速度優(yōu)勢. </p><p>　　關鍵詞：現場可編程門陣列（FPGA）；模擬平臺；片上網絡；軟硬件 </p><p>　　中圖分類號：TN402 文獻標識碼：A </p><p>　　隨著應用的發(fā)展和芯片制造水平的提高，片上系統(tǒng)單位面積上計算核心的數量呈現出近似指數的增長趨勢[1].進入65 nm工藝后，片上連線延時的比重迅速上升，甚至超過邏輯延時

3、，這導致基于總線的傳統(tǒng)互連結構無法滿足復雜系統(tǒng)芯片的設計需求[2].高性能的系統(tǒng)級芯片強調良好的邏輯和物理局部性，以降低芯片的全局連線延時.片上網絡（NetworksonChip）相對于總線具有良好的伸縮性和能量效率，能夠有效地緩解全局連線在深亞微米工藝條件下所引入的延時和功耗等問題，因而被認為是一種適合未來多核系統(tǒng)芯片大規(guī)模擴展的片上互連和通信結構[3]. </p><p>　　片上網絡擁有龐大的設計空間，其研

4、發(fā)周期覆蓋拓撲結構、路由算法、交換策略、流控制機制、服務質量、通信協(xié)議和網絡接口等多個方面的設計和實現問題[4].因此如何快速地驗證片上網絡硬件結構的功能，并準確地評估其性能和實現開銷成為設計者面臨的嚴峻挑戰(zhàn).基于FPGA的硬件模擬技術[5-7]相對于典型的軟件仿真技術[8-9]具有明顯的速度優(yōu)勢，尤其適合大規(guī)模片上網絡設計空間的深度搜索. </p><p>　　現有的片上網絡FPGA模擬平臺大多采用片上微處理器

5、，配合專用的硬件功能單元，為目標網絡產生模擬環(huán)境中所需要的各種流量模型[5].這種方法實現復雜，硬件資源開銷較大，且模擬平臺的性能往往受到流量模型的制約[6]，缺乏設計和移植的靈活性.針對這一點，本文提出并實現了一種基于多FPGA的高性能片上網絡模擬平臺結構，采用了層次化設計和軟件可重構的分布式流量管理器等技術，降低了系統(tǒng)硬件設計的復雜度，減小了流量管理系統(tǒng)與片上網絡內核的耦合度，大大提高了片上網絡功能驗證和性能評估的靈活性. <

6、/p><p>　　湖南大學學報（自然科學版）2013年 </p><p>　　第6期趙淳等：基于多FPGA的片上網絡模擬平臺設計和實現 </p><p>　　1 片上網絡模擬平臺 </p><p>　　片上網絡模擬平臺的系統(tǒng)結構框架如圖1所示，包括上位機和基于多FPGA的原型驗證引擎兩大部分，兩者之間可以通過PCIe，Ethernet等接口實現高

7、速的數據交換.模擬平臺自頂向下可以劃分為系統(tǒng)軟件層、軟/硬件接口層和硬件結構層3個抽象層次，為結構設計者提供一套完整的多目標、自動化片上網絡功能驗證和性能評估環(huán)境. </p><p>　　硬件結構層主要包括多片多種形式互連（普通單端、LVDS和千兆級高速串行總線等）的大容量FPGA芯片，為系統(tǒng)中的硬件功能單元提供充足的實現空間.完整的片上網絡硬件原型包括網絡內核、片間網絡接口、分布式片上流量管理器和中央控制器等模

8、塊.用戶可以通過每顆FPGA芯片上實現的中央控制器，利用系統(tǒng)應用層的軟件服務，直接對流量管理器進行讀/寫操作，完成對其功能的軟重構.軟/硬件接口層由設備（PCIe、Ethernet）驅動程序構成，為上層軟件提供了一組可擴展的專用API，將上層的軟件服務映射為對底層硬件的訪問操作，保證系統(tǒng)軟件層和硬件結構層之間的正確交互.系統(tǒng)應用層包括在上位機運行的基于高級語言（SystemC）的仿真引擎[10]和基于腳本語言的控制引擎.其中仿真引擎用于

9、產生下載到流量管理器的模型信息，以及分析處理由流量管理器讀回的統(tǒng)計信息；控制引擎則用于控制整個模擬流程，協(xié)調和管理各部分系統(tǒng)應用軟件功能，以及發(fā)起和終止用戶對底層硬件的訪問操作等. </p><p>　　2流量管理器軟/硬件實現 </p><p>　　在片上網絡的功能驗證和性能評估過程中，流量的產生、收集和分析處理一直都是設計者所面臨的最棘手的問題.如何設計結構簡單，靈活度高的片上流量管理

10、器，以實現對片上網絡全面的功能覆蓋和大范圍的設計空間搜索，成為整個模擬平臺的設計重點和難點.為了提高平臺的效率和靈活性，避免網表文件的反復生成和下載，本文設計了軟件可重構的分布式片上流量管理器，通過軟件配置和控制指令解析的方式為片上網絡提供豐富的流量模型. </p><p>　　2.1流量管理器和中央控制器 </p><p>　　流量管理器作為片上網絡的終端功能單元，模擬實際系統(tǒng)中的計算資

11、源節(jié)點，按照一定的時間和空間分布規(guī)律產生并向網絡注入數據，同時接收并校驗由其他終端發(fā)往本地的數據.流量管理器包括兩組單向的總線接口.其中用戶接口用于連接片上網絡中央控制器，為用戶提供“控制指令”的下載和“狀態(tài)數據”回傳服務，接口滿足簡單的存儲器讀寫規(guī)范.系統(tǒng)接口用于連接路由節(jié)點，接口滿足片上網絡物理鏈路的通信規(guī)范.每個路由節(jié)點可以根據其空閑物理鏈路的數量連接一個或多個流量管理器.流量管理器內部用于存儲控制指令和狀態(tài)數據的存儲空間被線性地

12、映射到64位地址所覆蓋的空間范圍內，允許系統(tǒng)軟件層以直接映射的方式對其進行訪問.整個硬件系統(tǒng)結構如圖2所示. </p><p>　　流量管理器發(fā)送和接收通道的結構如圖3所示，其結構劃分為發(fā)送通道和接收通道，分別處理網絡通信事務的發(fā)送和接收.其中發(fā)送通道由一塊用戶只寫、網絡只讀的指令存儲器和一個發(fā)送控制狀態(tài)機構成.指令存儲器的每一項存儲一條流量控制指令，對應一項網絡發(fā)送事務，其內容由目標地址、事務類型、負載長度、事

13、務編號、發(fā)送時間等字段構成.發(fā)送控制狀態(tài)機每次從指令存儲器中讀出一條流量控制指令，對其進行解析并完成一個完整網絡數據包的重建，同時在其結尾添加校驗信息，在流控機制的約束下，將數據包有序地注入到片上網絡中.接收通道由一塊用戶只讀、網絡只寫的數據存儲器和一個接收控制狀態(tài)機構成.當流量管理器接收到一個來自其他終端的網絡數據包時，接收控制狀態(tài)機首先對整個數據包的內容進行解析和校驗，從中還原出其基本控制信息如源地址、事務類型、負載長度和事務編號等