idc網絡技術方案設計

1、<p>　　江蘇有線昆山IDC網絡技術方案</p><p>　　數據中心網絡建設需求</p><p>　　現有IDC機房網絡分析</p><p>　　江蘇有線昆山分公司現有數據中心機房網絡采用傳統(tǒng)以太網技術構建，基礎架構為二層組網結構，核心設備為一臺華為NE80路由器，接入交換機為各種主流品牌交換機（H3C,HUAWEI,DLINK等），網管和非網管交換機

2、都有。隨著各類業(yè)務應用對業(yè)務需求的深入發(fā)展，業(yè)務部門對資源的需求正以幾何級數增長，傳統(tǒng)的IT基礎架構方式給管理員和未來業(yè)務的擴展帶來巨大挑戰(zhàn)。具體而言存在如下問題：</p><p>　　維護管理難：在傳統(tǒng)構架的網絡中進行業(yè)務擴容、遷移或增加新的服務功能越來越困難，每一次變更都將牽涉相互關聯的、不同時期按不同初衷建設的多種物理設施，涉及多個不同領域、不同服務方向，工作繁瑣、維護困難，而且容易出現漏洞和差錯。比如數據

3、中心新增加一個業(yè)務類型，需要調整新的應用訪問控制需求，此時管理員不僅要了解新業(yè)務的邏輯訪問策略，還要精通物理的防火墻實體的部署、連接、安裝，要考慮是增加新的防火墻端口、還是需要添置新的防火墻設備，要考慮如何以及何處接入，有沒有相應的接口，如何跳線，以及隨之而來的VLAN、路由等等。當這樣的網絡資源需求在短期內累積，將極易在使得系統(tǒng)維護的質量和穩(wěn)定性下降，同時反過來減慢新業(yè)務的部署，進而阻礙公司業(yè)務的推進和發(fā)展。</p>&

4、lt;p>　　資源利用率低：傳統(tǒng)架構方式對底層資源的投入與在上層業(yè)務所收到的效果很難得到同比發(fā)展，最普遍的現象就是忙的設備不堪重負，閑的設備資源儲備過多，二者相互之間又無法借用和共用。這是由于對底層網絡建設是以功能單元為中心進行建設的，并不考慮上層業(yè)務對底層資源調用的優(yōu)化，這使得對網絡的投入往往無法取得同樣的業(yè)務應用效果的改善，反而浪費了較多的資源和維護成本。</p><p>　　服務策略不一致：傳統(tǒng)架構最

5、嚴重的問題是這種以孤立的設備功能為中心的設計思路無法真正從整個系統(tǒng)角度制訂統(tǒng)一的服務策略，比如安全策略、高可用性策略、業(yè)務優(yōu)化策略等等，造成跨平臺策略的不一致性，從而難以將所投入的產品能力形成合力為上層業(yè)務提供強大的服務支撐。</p><p>　　因此，按傳統(tǒng)底層基礎設施所提供的服務能力已無法適應當前業(yè)務急劇擴展所需的資源要求，本次數據中心建設必須從根本上改變傳統(tǒng)思路，遵照一種嶄新的體系結構思路來構造新的數據中心

6、IT基礎架構。</p><p>　　IDC機房網絡目標架構</p><p>　　面向服務的設計思想已經成為Web2.0下解決來自業(yè)務變更、業(yè)務急劇發(fā)展所帶來的資源和成本壓力的最佳途徑。從業(yè)務層面上主流的IT廠商如IBM、BEA等就提出了摒棄傳統(tǒng)的“面向組件（Component）”的開發(fā)方式，而轉向“面向服務”的開發(fā)方式，即應用軟件應當看起來是由相互獨立、松耦合的服務構成，而不是對接口要求嚴

7、格、變更復雜、復用性差的緊耦合組件構成，這樣可以以最小的變動、最佳的需求溝通方式來適應不斷變化的業(yè)務需求增長。鑒于此，江蘇有線昆山分公司數據中心業(yè)務應用正在朝“面向服務的架構Service Oriented Architecture（SOA）”轉型。與業(yè)務的SOA相適應，支撐業(yè)務運行的底層基礎設施也應當向“面向服務”的設計思想轉變，構造“面向服務的數據中心”（Service Oriented Data Center，SODC）。<

8、/p><p>　　傳統(tǒng)組網觀念是根據功能需求的變化實現對應的硬件功能盒子堆砌而構建企業(yè)網絡的，這非常類似于傳統(tǒng)軟件開發(fā)的組件堆砌，被已經證明為是一種較低效率的資源調用方式，而如果能夠將整個網絡的構建看成是由封裝完好、相互耦合松散、但能夠被標準化和統(tǒng)一調度的“服務”組成，那么業(yè)務層面的變更、物理資源的復用都將是輕而易舉的事情。SODC就是要求當SOA架構下業(yè)務的變更，導致軟件部分的服務模塊的組合變化時，松耦合的網絡服務

9、也能根據應用的變化自動實現重組以適配業(yè)務變更所帶來的資源要求的變化，而盡可能少的減少復雜硬件的相關性，從運行維護、資源復用效率和策略一致性上徹底解決傳統(tǒng)設計帶來的頑疾。</p><p>　　具體而言SODC應形成這樣的資源調用方式：底層資源對于上層應用就象由服務構成的“資源池”，需要什么服務就自動的會由網絡調用相關物理資源來實現，管理員和業(yè)務用戶不需要或幾乎可以看不見物理設備的相互架構關系以及具體存在方式。SOD

10、C的框架原型應如下所示：</p><p>　　在圖中，隔在物理架構和用戶之間的“交互服務層”實現了向上提供服務、向下屏蔽復雜的物理結構的作用，使得網絡使用者看到的網絡不是由復雜的基礎物理功能實體構成的，而是一個個智能服務——安全服務、移動服務、計算服務、存儲服務……等等，至于這些服務是由哪些實際存在的物理資源所提供，管理員和上層業(yè)務都無需關心，交互服務層解決了一切資源的調度和高效復用問題。</p>

11、<p>　　SODC和SOA構成的數據中心IT架構必將是整個數據中心未來發(fā)展的趨勢，雖然實現真正理想的SODC和SOA融合的架構將是一個長期的歷程，但在向該融合框架邁進的每一步實際上都將會形成對網絡靈活性、網絡維護、資源利用效率、投資效益等等方面的巨大改善。因此ADC公司本次數據中心的網絡建設，要求盡可能的遵循如上所述的新一代面向服務的數據中心設計框架。</p><p>　　IDC機房網絡設計目標<

12、;/p><p>　　在基于SODC的設計框架下，江蘇有線昆山分公司新一代數據中心應實現如下設計目標：</p><p>　　簡化管理：使上層業(yè)務的變更作用于物理設施的復雜度降低，能夠最低限度的減少了物理資源的直接調度，使維護管理的難度和成本大大降低。</p><p>　　高效復用：使得物理資源可以按需調度，物理資源得以最大限度的重用，減少建設成本，提高使用效率。即能夠實現

13、總硬件資源占用量降低了，而每個業(yè)務得到的服務反而更有充分的資源保證了。</p><p>　　策略一致：降低具體設備個體的策略復雜性，最大程度的在設備層面以上建立統(tǒng)一、抽象的服務，每一個被充分抽象的服務都按找上層調用的目標進行統(tǒng)一的規(guī)范和策略化，這樣整個IT將可以達到理想的服務規(guī)則和策略的一致性。</p><p><b>　　IDC機房技術需求</b></p>

14、;<p>　　SODC架構是一種資源調度的全新方式，資源被調用方式是面向服務而非象以前一樣面向復雜的物理底層設施進行設計的，而其中交互服務層是基于服務調用的關鍵環(huán)節(jié)。交互服務層的形成是由網絡智能化進一步發(fā)展而實現的，它是底層的物理網絡通過其內在的智能服務功能，使得其上的業(yè)務層面看不到底層復雜的結構，不用關心資源的物理調度，從而最大化的實現資源的共享和復用。要形成SODC要求的交互服務層，必須對網絡提出以下要求：</p

15、><p><b>　　整合能力</b></p><p>　　SODC要求將數據中心所需的各種資源實現基于網絡的整合，這是后續(xù)上層業(yè)務能看到底層網絡提供各類SODC服務的基礎。整合的概念不是簡單的功能增多，雖然整合化的一個體現是很多獨立設備的功能被以特殊硬件的方式整合到網絡設備中，但其真正的核心思想是將資源盡可能集中化以便于跨平臺的調用，而物理存在方式則可自由的根據需要而定

16、。</p><p>　　數據中心網絡所必須提供的資源包括：</p><p>　　智能業(yè)務網絡所必須的智能功能，比如服務質量保證、安全訪問控制、設備智能管理等等；</p><p>　　數據中心的三大資源網絡：高性能計算網絡；存儲交換網絡；數據應用網絡。</p><p>　　這兩類資源的整合將是檢驗新一代數據中心網絡SODC能力的重要標準。<

17、;/p><p><b>　　虛擬化能力</b></p><p>　　虛擬化其實就是把已整合的資源以一種與物理位置、物理存在、物理狀態(tài)等無關的方式進行調用，是從物理資源到服務形態(tài)的質變過程。虛擬化是實現物理資源復用、降低管理維護復雜度、提高設備利用率的關鍵，同時也是為未來自動實現資源協調和配置打下基礎。</p><p>　　新一代數據中心網絡要求能夠

18、提供多種方式的虛擬化能力，不僅僅是傳統(tǒng)的網絡虛擬化（比如VLAN、VPN等），還必須做到：</p><p><b>　　交換虛擬化</b></p><p><b>　　智能服務虛擬化</b></p><p><b>　　服務器虛擬化</b></p><p>　　IDC機房網絡技

19、術實現</p><p>　　根據以上新一代數據中心網絡的技術要求，必須對傳統(tǒng)數據中心所使用的常規(guī)以太網技術進行革新，數據中心級以太網（Data Center Ethernet，簡稱DCE）技術由此誕生。</p><p>　　DCE之前也被一些廠商稱為匯聚型增強以太網技術（Converged Enhanced Ethernet，簡稱CEE），是兼容傳統(tǒng)以太網協議并按新一代數據中心的傳輸要求，

20、對其進行全面革新的一系列標準和技術的總稱。因此，為達到江蘇有線昆山分公司的新一代數據中心的建設目標，必須摒棄傳統(tǒng)以太網技術，而采用新一代的DCE（CEE）技術進行組網。</p><p>　　具體而言，本次江蘇有線昆山分公司數據中心所采用的DCE技術，可以達到以下的技術目標。</p><p><b>　　整合能力</b></p><p><

21、b>　　一體化交換技術</b></p><p>　　DCE技術的重要目標是實現傳統(tǒng)數據中心最大程度的資源整合，從而實現面向服務的數據中心SODC的最終目標。在傳統(tǒng)數據中心中存在三種網絡：使用光纖存儲交換機的存儲交換網絡（Fiber Channel SAN），便于實現CPU、內存資源并行化處理的高性能計算網絡（多采用高帶寬低延遲的InfiniBand技術），以及傳統(tǒng)的數據局域網。DCE技術將這三種

22、網絡實現在統(tǒng)一的傳輸平臺上，即DCE將使用一種交換技術同時實現遠程存儲、遠程并行計算處理和傳統(tǒng)數據網絡功能。這樣才能最大化的實現三種資源的整合，從而便于實現跨平臺的資源調度和虛擬化服務，提高投資的有效性，同時還降低了管理成本。</p><p>　　江蘇有線昆山分公司業(yè)務的特點不需要超級計算功能，因此本次項目要實現存儲網絡和傳統(tǒng)數據網絡的雙網合一，使用DCE技術實現二者的一體化交換。當前在以太網上融合傳統(tǒng)局域網和存

23、儲網絡唯一成熟技術標準是Fiber Channel Over Ethernet技術（FCoE），它已在標準上給出了如何把存儲網(SAN)的數據幀封裝在以太網幀內進行轉發(fā)的相關技術協議。由于該項技術的簡單性、高效率、經濟性，目前已經形成相對成熟的包括存儲廠商、網絡設備廠商、主機廠商、網卡廠商的生態(tài)鏈。</p><p>　　本次數據中心建設將做好FCoE的基礎設施準備，并將在下一階段完成基于FCoE技術的雙網融合。&

24、lt;/p><p><b>　　無丟棄以太網技術</b></p><p>　　為保證一體化交換的實現，DCE改變了傳統(tǒng)以太網無連接、無保障的Best Effort傳輸行為，即保證主機在通過以太網進行磁盤讀寫等操作、高性能計算所要求的遠程內存訪問、并行處理等操作，不會發(fā)生任何不可預料的傳輸失敗，達到真正的“無丟包”以太網目標。DCE在網絡中以硬件及軟件的形式實現了以下技術：

25、</p><p>　　基于優(yōu)先級類別的流控在DCE 的理念中是非常重要的一環(huán)，通過它和擁塞管理的相互合作，我們可以構造出“不丟包的以太網”架構；這對今天的我們來說，它的誘惑無疑是不可阻擋的。不丟包的以太網絡提供一個安全的平臺，它讓我們把一些以前無法安心放置到數據網絡上的重要應用能安心的應用到這個DCE的數據平臺。</p><p>　　帶寬管理在以太網絡中提供類似于類似幀中繼(Frame R

26、elay)的帶寬控制能力，它可以確保一些重要的業(yè)務應用能獲得必須的網絡帶寬；同時保證網絡鏈路帶寬利用的最大化。</p><p>　　擁塞管理可以提供在以太網絡中的各種擁塞發(fā)現和定位能力，這在非連接的網絡中無疑是一個巨大的挑戰(zhàn)；可以說在目前的所有非連接的網絡中，這是一個嶄新的應用；目前的研究方向主要集中在后向擁塞管理(BCN)和量化擁塞管理(QCN)這兩個方面。</p><p><b&

27、gt;　　性能支撐能力</b></p><p>　　為保證實現一體化交換和資源整合，DCE還必須對傳統(tǒng)以太網的性能和可擴展性的進行革新。</p><p>　　首先為保證三網合一后的帶寬資源，萬兆以太網技術只是DCE核心層帶寬的起點。而正在發(fā)展中的40G/100G以太網才是DCE技術將來的主流帶寬。因此，要保證我們今天采購的設備能有5年以上的生命周期，就必須考慮硬件的可擴展能力。

28、這也就是說從投資保護和工程維護的角度出發(fā)，我們需要一個100G平臺的硬體設備，即每個設備的槽位至少要支持100G的流量（全雙工每槽位200Gbps），只有這樣才能維持該設備5年的生命周期。同時從經濟性的角度來考慮，如果能達到400G的平臺是最理想的。</p><p>　　另外存儲網絡和高性能計算所要求的通過網絡實現的遠程磁盤讀寫、內存同步的性能需求，DCE設備必須提供比傳統(tǒng)以太網設備低幾個數量級的端口間轉發(fā)延遲。

29、DCE要求的核心層的三層轉發(fā)延遲應可達到30us以下，接入層的二層轉發(fā)延遲應可在3～4us以下。這都是傳統(tǒng)以太網技術無法實現的性能指標要求。</p><p><b>　　智能服務的整合能力</b></p><p>　　眾所周知，應用的復雜度是在不斷的提升，同時伴隨著網絡的融合，應用對網絡的交互…可以預見的是網絡的復雜度也將不斷的提升。這也印證我們的判斷：應用對網絡的控

30、制將逐步增強，網絡同時也在為應用而優(yōu)化。</p><p>　　因此構建一個單業(yè)務的簡單L2轉發(fā)網絡并不是網絡設備的設計方向；全業(yè)務的設備和多業(yè)務融合的網絡才是我們所需要的環(huán)境。</p><p>　　那么我們需要什么樣的全業(yè)務呢，很明顯Data Center Ethernet 是一個必備的項目，同時我們至少還需要其它的基本業(yè)務屬性來保障一個多業(yè)務網絡的運行，如：</p><

31、;p>　　服務質量保證QoS</p><p>　　訪問列表控制 ACL</p><p>　　虛擬交換機的實現 Virtual Switch</p><p>　　網絡流量分析 Netflow</p><p>　　CPU抗攻擊保護CoPP</p><p>　　遠程無人值守管理CMP</p&g

32、t;<p>　　嵌入式事件管理EEM</p><p>　　當然，所有這些業(yè)務的實現都是在不影響轉發(fā)性能的前提條件下的。失去這個大前提，多業(yè)務的實現就變得毫無意義。</p><p>　　所以設計一個好的產品就必須顧全多業(yè)務、融合網絡這個大前提。如何使這些復雜的業(yè)務處理能夠在高達100G甚至是400G的線路卡上獲得線速處理的性能是考驗一個硬件平臺的重要技術指標。</p&

33、gt;<p>　　最終的勝出者無疑就是能夠用最小的代價來換取最大業(yè)務實現和性能的設備平臺。</p><p><b>　　虛擬化能力</b></p><p>　　DCE對網絡虛擬化不僅僅是傳統(tǒng)意義上的VLAN和VPN，為實現SODC的交互服務層資源調度方式，DCE還能夠做到以下的虛擬化能力。</p><p><b>　　虛

34、擬交換技術</b></p><p>　　虛擬交換技術可以實現當我們使用交換機資源時，我們可以不用關心交換服務的物理存在方式，它可能是由一臺交換機提供，也可能是兩臺交換機設備，甚至可以是一個交換機中的幾個虛擬交換機之一。思科的DCE技術就提供了將兩個物理交換機虛擬為一臺交換機的虛擬交換系統(tǒng)（VPC）技術，以及將一個交換機虛擬化為多個交換機的虛擬設備（VDC）技術。</p><p>

35、;　　（一）虛擬交換系統(tǒng)（VPC）</p><p>　　VPC技術可將網絡的雙核心虛擬化為單臺設備，虛擬交換機性能倍增、管理復雜度反而減半。具體有如下優(yōu)勢：</p><p>　　單一管理界面：管理界面完全為單臺設備管理方式，管理和維護工作量減輕一半；</p><p>　　性能翻倍：虛擬交換系統(tǒng)具備兩臺疊加的性能，與其它交換機通過跨物理機箱的雙千兆以太網或雙萬兆以太網

36、捆綁技術，遠比依靠路由或生成樹的負載均衡更均勻，帶寬和核心吞吐量均做到真正的翻倍。</p><p>　　協議簡單：虛擬交換系統(tǒng)與其它設備間的動態(tài)路由協議完全是單臺設備與其它設備的協議關系，需維護的路由鄰居關系數以二次方根下降，在本系統(tǒng)中可達4～5倍下降，工作量和部署難度大大降低；虛擬交換系統(tǒng)同時作為單臺設備參與生成樹計算關系，生成樹計算和維護量以二次方根下降，在本系統(tǒng)中可達4～5倍下降，工作量和部署難度大大降低。

37、</p><p>　　冗余可靠：虛擬交換系統(tǒng)形成虛擬單機箱、物理雙引擎的跨機箱冗余引擎系統(tǒng)，下連接入交換機原來需要用動態(tài)路由或生成樹實現冗余切換的，在VPC下全都可以用簡單的鏈路捆綁實現負載均衡和冗余，無論是鏈路還是引擎，冗余切換比傳統(tǒng)方式更加迅捷平滑，保持上層業(yè)務穩(wěn)定運行。以前兩個單引擎機箱的其中一臺更換引擎，一定會導致數據的丟失，而虛擬交換系統(tǒng)里任意一臺更換引擎，數據可以保證0丟失。</p>&

38、lt;p>　?。ǘ┨摂M設備系統(tǒng)（VDC）</p><p>　　VDC技術則可以實現將一臺交換機劃分為多個虛擬的子交換機，每個交換機擁有獨立的配置界面，獨立的生成樹、路由、SNMP、VRRP等協議進程，甚至獨立的資源分配（內存、TCAM、轉發(fā)表等等）。它與VSS配合，將在實現更加靈活的、與物理設備無關的跨平臺資源分配能力，為數據中心這種底層設施資源消耗型網絡提供更經濟高效的組網方式，也為管理和運營智能化自動

39、化創(chuàng)造條件。</p><p>　　物理設備虛擬成若干個邏輯上的獨立設備的圖示：</p><p><b>　　網絡服務虛擬化</b></p><p>　　在服務資源整合以及設備虛擬化的基礎之上，DCE要求每個虛擬化的網絡應用區(qū)都有自己的業(yè)務服務設施，比如自己的防火墻、IDS、負載均衡器、SSL加速、……網絡服務，這些如果都是物理上獨占式分配的，將

40、是高成本、低效率且難于維護管理的。DCE網絡在提供這些網絡智能服務時都可以以虛擬化的方式實現各類服務的資源調用，思科的DCE網絡中就可以實現虛擬防火墻、虛擬IDS、虛擬負載均衡器、虛擬SSL VPN網絡……等等，從而實現網絡智能服務的虛擬化。</p><p><b>　　服務器虛擬化</b></p><p>　　服務器虛擬化可以使上層業(yè)務應用僅僅根據自己所需的計算資源

41、占用要求來對CPU、內存、I/O和應用資源等實現自由調度，而無須考慮該應用所在的物理關聯和位置。當前商用化最為成功的服務器虛擬化解決方案是VMWare的VMotion系列，微軟的Virtual Server和許多其它第三方廠商（如Intel、AMD等）也正在加入，使得服務器虛擬化的解決方案將越來越完善和普及。</p><p>　　然而人們越來越意識到服務器虛擬化的系統(tǒng)解決方案中除了應用、主機、操作系統(tǒng)的角色外，網

42、絡將是一個更為至關重要的角色。網絡將把各個自由聯系成為一個整體，網絡將是實現自由虛擬化的橋梁。服務器虛擬化需要DCE能夠提供以下能力：</p><p>　　資源的整合：業(yè)務應用運行所依賴的物理計算環(huán)境都需要網絡實現連接，然而在傳統(tǒng)網絡中，傳輸數據的數據網、互連CPU和內存的計算網、互連存儲的存儲網都是孤立的，這就無法真正實現與物理無關的服務器資源調度，因此實現真正意義上徹底的服務器虛擬化，前面提到的DCE三網一體

43、化交換架構是必須的條件。</p><p>　　網絡的虛擬機意識：傳統(tǒng)網絡是不具備虛擬機意識的，即在網絡上傳遞的信息是無法區(qū)別它是來自于哪個虛擬機，也無法在網絡上根據虛擬機來提供相應的網絡服務，當虛擬機遷移，也沒有相應的網絡跟蹤手段保證服務的全局一致性。不過這些都是DCE正在解決的問題，一些DCE的領導廠商，比如思科，已經在推出的商用化DCE產品中提供了相應的虛擬機標識機制，并且思科已經聯合VMware等廠商將這些

44、協議提交IEEE實現標準化。</p><p>　　虛擬機遷移的網絡環(huán)境：服務器虛擬化是依靠虛擬機的遷移技術實現與物理資源無關的資源共享和復用的。虛擬機遷移需要一個二層環(huán)境，這導致遷移范圍被局限在傳統(tǒng)的VLAN內。我們知道Web2.0、云計算等概念都需要無處不在的數據中心，那么如何實現二層網絡的跨地域延展呢？傳統(tǒng)的L2 MPLS技術太復雜，于是IEEE和IETF正在制定二層多路徑（即二層延展）的新標準，DCE的領導

45、廠商思科公司也提出了一種新的協議標準Cisco Over the Top Virtualization(OTV)來解決跨城域或廣域網的二層延展性問題，從而為服務器虛擬化提供可擴展的網絡支撐。</p><p><b>　　自動化</b></p><p>　　自動化是SODC架構中上層自動優(yōu)化的實現服務調用必須條件。在高度整合化和虛擬化的基礎上，服務的部署完全不需要物理上

46、的動作，資源在虛擬化平臺上可以與物理設施無關的進行分配和整合，這樣我們只需要將一定的業(yè)務策略輸入給智能網絡的策略服務器，一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進行計算、評估、決策和調配實現。現在商用的DCE自動化解決方案包括管理自動化和業(yè)務部署自動化。</p><p>　　江蘇有線昆山分公司數據中心將在后續(xù)的建設中逐步完善自動化管理和自動化業(yè)務部署，但需要在本期通過DCE技術的實施打下未來自動化部署的堅實基礎。&

47、lt;/p><p><b>　　綠色數據中心</b></p><p>　　DCE技術的整合化、虛擬化和自動化本身就是在達到同樣業(yè)務能力的要求下實現高效率利用硬件資源、減少總硬件投入、節(jié)約維護管理成本等方面的最佳途徑，這本身也是綠色數據中心的必要條件。</p><p>　　另外DCE產品必須在硬件實現上實現低功耗、高效率，包括</p>

48、<p>　　利用最新半導體工藝（越小納米的芯片要比大納米的芯片省電）</p><p>　　降低邏輯電路的復雜度 （在接入層使用二層設備往往要比三層設備省電）</p><p>　　減少通用集成電路的空轉（使用定制化的專業(yè)設計的芯片往往比通用芯片省電）</p><p><b>　　等等……</b></p><p&

49、gt;　　由此可見，對于一臺網絡設備，在業(yè)務能力相當的前提條件下，越小的功耗就代表越先進的技術。在DCE設備一般可以做到維持三層的全業(yè)務萬兆吞吐功耗小于25W、二層的萬兆吞吐功耗小于13W</p><p>　　綜上所述，在本次江蘇有線昆山分公司新一代數據中心網絡的建設中，將采用不同于傳統(tǒng)以太網技術的DCE以太網技術，構建面向服務的高效能數據中心網絡平臺。</p><p>　　數據中心網絡改

50、造建議</p><p><b>　　總體網絡結構</b></p><p>　　本次江蘇有線昆山分公司數據中心網絡的建設將采用新一代的DCE技術，并使用DCE技術的代表廠商Cisco公司的Nexus系列產品。網絡結構將采用大型數據中心典型的層次化、模塊化組網結構。</p><p><b>　　層次化結構的優(yōu)勢</b><

51、/p><p>　　采用層次化結構有如下好處：</p><p>　　節(jié)約成本：園區(qū)網絡意味著巨大的業(yè)務投資正確設計的園區(qū)網絡可以提高業(yè)務效率和降低運營成本。</p><p>　　便于擴展：一個模塊化的或者層次化的網絡由很多更加便于復制、改造和擴展的模塊所構成，在添加或者移除一個模塊時，并不需要重新設計整個網絡。每個模塊可以在不影響其他模塊或者網絡核心的情況下投入使用或者停

52、止使用。</p><p>　　加強故障隔離能力：通過將網絡分為多個可管理的小型組件，企業(yè)可以大幅度簡化故障定位和排障處理時效。</p><p><b>　　標準的網絡分層結構</b></p><p>　　層次化結構包括二個功能部分，即接入層、核心層，各層次定位分別如下</p><p>　　核心層：是企業(yè)數據交換網絡的骨干

53、，本層的設計目的是實現快速的數據交換，并且提供高可靠性和快速的路由收斂。</p><p>　　接入層：負責提供服務器、用戶終端、存儲設施等等的網絡第一級接入功能，另外網絡智能服務的初始分類，比如安全標識、QoS分類將也是這一層的基本功能。</p><p><b>　　IDC機房網絡結構</b></p><p>　　根據業(yè)界企業(yè)網絡最佳設計實踐參

54、考，在邊緣節(jié)點端口較少的小型網絡中，可以考慮將核心層與分布層合并，小型網絡的網絡規(guī)模主要由接入層交換機決定。江蘇有線昆山分公司的業(yè)務應用特點又決定了核心層將相對接入的網絡模塊較少，只有VOD服務器接入、數據中心匯聚接入、廣域網接入等三塊，如果采用單獨的大容量物理核心設備將造成浪費，而如果采用低端核心設備則會對業(yè)務相對繁忙的數據中心匯聚形成瓶頸，也影響網絡整體的穩(wěn)定性。鑒于此，我們采用核心層設備Cisco Nexus 7000（IDC機房

55、已有）作為核心，但虛擬化為兩套交換機，一套用于全網核心，一套用于數據中心匯聚。這樣做的優(yōu)勢如下：</p><p>　　邏輯上仍然是清晰的兩套設備，完全保持了前述網絡分層結構的優(yōu)勢。</p><p>　　在性能上實現了網絡核心和數據中心匯聚交換機資源的共享和復用，非常好的解決了核心層數據量和數據中心數據量可能存在較大差異的問題。</p><p>　　以較低的投入升級了

56、數據中心匯聚交換機的能力（相當于可以與核心層復用4Tbps以上的交換能力），適于下一階段要進行的數據中心雙網融合的資源需求。</p><p>　　減少了設備數量，降低了設備投入成本、功耗開銷和維護管理的復雜度。</p><p>　　充分利用原有的NEXUS 7000交換機，發(fā)揮最大使用效率。</p><p>　　IDC機房網絡設備統(tǒng)計與規(guī)劃</p>&

57、lt;p><b>　　IDC機房網絡設計</b></p><p>　　本次我們采用原有的Cisco Nexus 7018系列大型DCE交換機，每臺Nexus7000劃分為兩個VDC（虛擬交換機），一個虛擬交換機作為ADC公司全網核心，另一個虛擬交換機作為數據中心的分布匯聚層交換機。</p><p>　　本次每臺N7018實配48個萬兆端口，這些端口都可在物理上劃

58、分為屬于全網核心的虛擬交換機和屬于數據中心匯聚的虛擬交換機，每個虛擬交換機從軟件進程到配置界面都各自獨立，但可以共享和復用總的交換機資源。</p><p>　　每個虛擬交換機都支持vPC技術（Virtual Port-Channel），即可以實現跨交換機的端口捆綁，這樣在下級交換機上連屬于不同機箱的虛擬交換機時，可以把分別連向不同機箱的萬兆鏈路用與IEEE 802.3ad兼容的技術實現以太網鏈路捆綁，提高冗余能力

59、和鏈路互連帶寬的同時，大大簡化網絡維護。</p><p>　　核心層虛擬交換機與其它設備互連都采用路由端口和三層交換方式，因此采用vPC進行鏈路捆綁時使用三層端口鏈路捆綁技術。如圖所示：</p><p>　　使用Cisco Nexus 2000系列DCE接入交換機，可以實現數據中心接入層的分級設計。</p><p>　　本次建議IDC使用具備32個1G/10G以太網

60、端口、8個萬兆上連端口的Nexus 2232FT。Nexus 2000是NEXUS 7018系列的交換矩陣延展器，通過部署在機柜（Top of the Rack，ToR）的Nexus 2232FT，可以將本地接入的高密度服務器上連到nexus 7018上，通過連接多臺Nexus 2232FT，NEXUS 7018 可以將驚人交換能力延展到多個機柜，實現高性能、高密度、低延遲的DCE服務器群接入能力。而且作為NEXUS 7018的延展設備

61、，Nexus 2232FT無需自身進行復雜配置，所有管理和配置都可在其上游的NEXUS 7018上完成，大大簡化了多機柜、高密度服務器接入設備的管理復雜度。</p><p>　　Nexus 2000都是按柜頂（Top of the Rack，ToR）交換機的尺寸設計，1～2U的高度內緊湊的集成了高密度的DCE端口，但同時提供可熱插拔的冗余風扇組和冗余電源系統(tǒng)，其可靠性遠非其它傳統(tǒng)以太網中固定接口小交換機所可比。&

62、lt;/p><p>　　數據中心地址路由設計</p><p>　　核心層和接入層之間使用交換端口，實現二層交換。如前所述，當前的主流虛擬機軟件，如VMware、Virtual Server等都需要在二層交換下實現虛擬機遷移，因此在數據中心接入層使用二層交換將方便虛擬機的遷移和調度。當前由于Cisco獨特的虛擬交換機技術和vPC跨設備端口捆綁技術的使用，可以實現在二層結構下完全沒有環(huán)路，從根本上

63、解決了生成樹算法收斂慢、不穩(wěn)定、故障多的問題，也使得在一個數據中心內二層結構下的可擴展性與三層結構沒有根本的區(qū)別。如下圖所示，只要經過適當設計，本項目接入層的二層部分將沒有環(huán)路，快速生成樹算法將只用于在誤操作等極端情況下的防范手段。</p><p>　　當IEEE的改進生成樹協議或者IETF的二層路由協議技術成熟，或者直接使用思科當前就可以提供的OTV技術，二層結構還可以擴展到城域和廣域網中去，擴大服務器虛擬化的

64、調度范圍，向云計算的理想邁進。</p><p>　　分布匯聚層的智能服務機箱相關的地址和邏輯設計將在后面專項的智能服務介紹中詳細闡述。</p><p>　　VLAN/VSAN和地址規(guī)劃</p><p>　　Nexus 7018和2000將可以把主機服務器和存儲設備一并接入統(tǒng)一交換，其中數據網絡部分實現傳統(tǒng)的VLAN設計，而存儲網絡則支持VSAN。</p>

65、<p>　　在DCE的一體化交換架構下，數據網絡部分的邏輯結構設計（地址和路由）與分層設計的傳統(tǒng)網絡完全兼容，因此用戶現有的主機、服務器在割接到新數據中心時無需變更地址，實現平滑過度。</p><p>　　數據中心設計技術優(yōu)勢</p><p>　　下一代數據中心技術優(yōu)勢</p><p><b>　　相關網絡設備介紹</b><

66、/p><p>　　Cisco Nexus 2000系列交換機介紹</p><p>　　為了將Nexus 7018的服務延展到更多機柜，提供更高密度的DCE接入，但又無需增加管理上的負擔，思科提供了Nexus 2000——Nexus7000專用的延展器，它提供高密度的千兆或萬兆本地接入，然后用幾乎線性的性能完成萬兆的上連，而所有管理則完全放在上連的Nexus5000上，從而提供了最佳性價比、且支

67、持VN-link等高級DCE功能的數據中心接入解決方案。</p><p>　　Cisco NX-OS 數據中心級操作系統(tǒng)簡介</p><p><b>　　產品概述 </b></p><p>　　Cisco NX-OS是一個數據中心級的操作系統(tǒng)，該操作系統(tǒng)體現模塊化設計、永續(xù)性和可維護性。在業(yè)界成熟的Cisco SAN-OS軟件的基礎上，Cisc

68、o NX-OS確保持續(xù)的可用性，并為承擔關鍵業(yè)務的數據中心環(huán)境設立標準。Cisco NX-OS的自行恢復和高度模塊化的設計實現對業(yè)務無影響的運行，提供出色的運營靈活性。</p><p>　　Cisco NX-OS是面向數據中心的需要而設計的，它所提供的強大、豐富的特性集，不僅能滿足當前數據中心的路由、交換和存儲網絡要求，還能滿足未來的數據中心需求。憑借XML界面和類似Cisco IOS®軟件的CLI，C

69、isco NX-OS為相關網絡標準和各種真正數據中心級思科創(chuàng)新的實施提供鼎力支持。 </p><p><b>　　特性和優(yōu)勢</b></p><p><b>　　靈活性和可擴展性 </b></p><p>　　軟件兼容性：Cisco NX-OS 4.0能與運行各種Cisco IOS軟件操作系統(tǒng)的思科產品互操作。Cisco

70、NX-OS 4.0也能與遵循本產品簡介中所列舉的網絡標準的網絡OS互操作。</p><p>　　整個數據中心通用的軟件：Cisco NX-OS簡化數據中心的操作環(huán)境，提供一個統(tǒng)一的OS，能夠在數據中心網絡的各個區(qū)域運行，包括局域網、SAN和第四到七層網絡服務。</p><p>　　模塊化軟件設計：Cisco NX-OS能夠在SMP、多核CPU和分布式線卡處理器上支持分布式多線程處理功能。硬

71、件表編程等需要大量計算的任務能卸載給分布在多個線卡上的專用處理器。Cisco NX-OS模塊化進程在獨立受保護內存空間中逐個按需啟用。因此，只有當一個特性啟用后，進程才會啟動，開始分配系統(tǒng)資源。模塊化進程由實時預先排程器管理，有助于確保及時處理關鍵功能。 </p><p>　　虛擬設備環(huán)境(VDC)：Cisco NX-OS能夠將OS和硬件資源劃分為模擬虛擬設備的虛擬環(huán)境。每個VDC擁有其自身的軟件進程、專用硬件資

72、源(接口)和獨立的管理環(huán)境。VDC有助于將分立網絡整合為一個通用基礎設施，保留物理上獨立的網絡的管理界限劃分和故障隔離特性，并提供單一基礎設施所擁有的多種運營成本優(yōu)勢。 </p><p><b>　　可用性 </b></p><p>　　持續(xù)系統(tǒng)運營：Cisco NX-OS提供持續(xù)的系統(tǒng)運營，維護、升級和部署軟件認證，同時不會造成服務中斷。通過將進程模塊化、模塊化修補

73、、思科運行中軟件升級（ISSU）功能和不間斷轉發(fā)(NSF)平穩(wěn)重啟相結合，極大地降低軟件升級和其他操作所帶來的影響。 </p><p>　　思科ISSU：思科ISSU利用冗余引擎在平臺上提供透明的軟件升級功能，極大地縮短停機時間，使客戶能夠在極少影響或不影響網絡運營的情況下，集成最新的特性和功能。 </p><p>　　迅速開發(fā)增強特性和故障修復：Cisco NX-OS的模塊化特性使新的特

74、性、增強特性和故障修復能夠迅速地集成入軟件。因此，模塊化修復功能能夠在極短的時間內完成開發(fā)、測試和交付使用，滿足緊迫的時間要求。利用ISSU，這些更新鏡像能在不干擾正常運行的情況下安裝。</p><p>　　進程應急啟動：關鍵進程在受保護的內存空間中運行，獨立于其他進程和內核，從而提供精確的服務分隔和故障隔離，支持模塊化修補和升級，以及快速重啟功能。各進程能夠分別重啟，不會丟失狀態(tài)信息，不會影響數據轉發(fā)，因此，在

75、升級或故障后，進程會在數毫秒內重啟，而不會影響鄰近的設備或服務。利用基于標準的NSF平穩(wěn)重啟機制，擁有大量狀態(tài)信息（如IP路由協議）的進程能夠得以重啟；其他進程則借助本地永久存儲服務（PSS）維持其狀態(tài)。 </p><p>　　狀態(tài)化引擎故障切換：冗余引擎始終保持同步，支持快速的狀態(tài)化引擎故障切換。它具有先進的檢驗功能，有助于確保故障切換后整個分布式架構中狀態(tài)的統(tǒng)一性和可靠性。 </p><p

76、>　　可靠的進程間通信：Cisco NX-OS提供進程間可靠的通信功能，能夠確保故障過程中和出現不利情況下，所有信息都得以傳送和正確地發(fā)揮作用。該通信功能有助于確保進程同步化和狀態(tài)的一致性，這些進程能夠在分布于多個引擎和I/O模塊上的處理器上啟用。 </p><p>　　冗余交換以太網帶外信道(EOBC)：Cisco NX-OS能充分利用冗余EOBC來支持控制和I/O模塊處理器間的通信。 </p>

77、;<p>　　基于網絡的可用性：通過提供工具和功能，使故障切換和回退透明、迅速，從而優(yōu)化網絡收斂。例如，Cisco NX-OS提供生成樹協議增強特性，如BPDU防護、環(huán)路防護、根防護、BPDU過濾器和網橋保證，以確保生成樹協議控制平面的狀態(tài)正常；UDLD協議；路由協議NSF平穩(wěn)重啟；毫秒間隔的FHRP；SPF優(yōu)化，如LSA Pacing和iSPF；以及帶可調整計數器的IEEE 802.3ad鏈路匯聚。 </p>

78、<p><b>　　可維護性</b></p><p>　　故障排除和診斷：Cisco NX-OS擁有獨特的可維護性功能，使網絡操作員能夠根據網絡趨勢和事件提前采取行動，從而增強網絡規(guī)劃，縮短網絡運營中心(NOC)和廠商的響應時間。呼叫到家、思科通用在線診斷(GOLD)和Cisco NX-OS嵌入式事件管理器(EEM)是Cisco NX-OS用于提高可維護性的部分特性。 <

79、/p><p>　　交換端口分析器（SPAN）：SPAN特性允許管理員在不對運營造成影響的情況下，將SPAN進程流量導向連接一個外部分析器的SPAN目的地端口，從而對端口(稱為SPAN源端口)間的所有流量進行分析。 </p><p>　　嵌入式數據包分析器：Cisco NX-OS擁有一個內置數據包分析器，用于控制平面流量的監(jiān)控和故障排除。該數據包分析器以常用的Wireshark開放源網絡協議分析

80、器為基礎而構建。</p><p>　　智能呼叫到家：智能呼叫到家特性能夠持續(xù)監(jiān)控軟硬件，并通過電子郵件發(fā)送關鍵系統(tǒng)事件通知。它擁有多種消息格式，能與尋呼機服務、標準電子郵件和基于XML的自動分析應用等出色兼容。它提供報警分組功能和可定制目的地功能。該特性有多種用途，例如直接尋呼網絡支持工程師、發(fā)送電子郵件給NOC，以及利用思科自動通知服務直接開啟一個思科技術支持中心(TAC)案例等。這一特性向實現自治系統(tǒng)運營邁出

81、重要的一步，使網絡設備在出現問題時能通知IT，確保故障得以迅速地解決，縮短解決時間，最大限度地延長系統(tǒng)正常運行時間。 </p><p>　　思科GOLD: 思科GOLD是一個診斷套件，負責檢驗硬件和內部數據路徑是否按設計要求運行。思科GOLD特性集包括引導時間診斷、持續(xù)監(jiān)控，以及按需和定期測試等。這個業(yè)界領先的診斷子系統(tǒng)能夠執(zhí)行對當今連續(xù)運行環(huán)境十分重要的快速故障隔離和持續(xù)系統(tǒng)監(jiān)控功能。</p>&

82、lt;p>　　思科EEM: 思科EEM是一項強大的設備和系統(tǒng)管理技術，集成在Cisco NX-OS之中。思科EEM能夠幫助客戶充分利用思科軟件的網絡智能優(yōu)勢，使其能根據發(fā)生的網絡事件，定制所采取的行動。 </p><p>　　Cisco Netflow: Netflow是Cisco NX-OS中的一個組件，它支持版本5和版本9輸出，以及靈活Netflow配置模式和基于硬件的樣本Netflow，提高可擴展性。

83、 </p><p><b>　　可管理性 </b></p><p>　　可編程XML界面：在NETCONF業(yè)界標準的基礎上，Cisco NX-OS XML界面為設備提供一個統(tǒng)一的API，使客戶能快速開發(fā)和創(chuàng)建工具，增強網絡性能。 </p><p>　　SNMP協議：Cisco NX-OS符合SNMP版本1、2和3的規(guī)定，支持廣泛的管理信息庫（M

84、IB）。 </p><p>　　配置驗證和回退：憑借Cisco NX-OS，系統(tǒng)操作員能夠在應用配置前，驗證配置的一致性和所需硬件資源的可用性。因此，設備能預配置，之后再應用經過驗證的配置。配置還包括檢查點，以使管理員能根據需要回退到以前的完善配置。 </p><p>　　基于角色的訪問控制(RBAC)：憑借RBAC，Cisco NX-OS使管理員能分配用戶角色，限制用戶對交換機的操作。管

85、理員能夠定制接入功能，僅允許必要用戶訪問網絡。 </p><p>　　思科數據中心網絡管理器（DCNM）：思科DCNM是一個專門用于數據中心網絡運營的管理解決方案。它大幅延長整個數據中心基礎設施的正常運行時間，提高可靠性，因而能夠支持業(yè)務連續(xù)性。思科DCNM是為Cisco NX-OS產品系列專門設計的。</p><p>　　連接管理處理器（CMP）支持：Cisco NX-OS支持利用CMP

86、對平臺實施“熄燈式”遠程管理。通過提供NX-OS控制臺帶外接入信道，CMP為運營提供有力支持。 </p><p>　　流量路由、轉發(fā)和管理 </p><p>　　以太網交換：Cisco NX-OS支持高密度、高性能的以太網系統(tǒng)，提供全面的數據中心級以太網交換特性集。該特性集包括IEEE 802.1D-2004 快速和多生成樹協議(802.1w和802.1s)、IEEE 802.1Q VLA

87、N和中繼、支持16,000名用戶的VLAN、IEEE 802.3ad鏈路匯聚、私有VLAN、跨機箱私有VLAN、主動和標準模式UDLD，以及流量抑制(單播、組播和廣播)。生成樹協議利用生成樹環(huán)境中的ISSU、BPDU防護、環(huán)路防護、根防護、BPDU過濾器、網橋保證和巨型幀支持，實現透明升級。 </p><p>　　IP和路由：Cisco NX-OS支持廣泛的IP版本4和6 (IPv4和v6)服務及路由協議。這些協

88、議的實施完全符合最新標準的要求，提供先進的增強特性和參數，如4字節(jié)ASN和增量SPF，并且無需使用率低下的傳統(tǒng)功能，其出色實施能夠提高特性速度和系統(tǒng)穩(wěn)定性。所有單播協議都支持不間斷轉發(fā)平穩(wěn)重啟(NSF-GR)。所有協議都支持各種類型的接口，包括以太網接口、交換虛擬接口（SVI）和子接口、端口信道、隧道接口和環(huán)回接口。 </p><p>　　IP組播：Cisco NX-OS提供業(yè)界領先的IP組播特性集。Cisco

89、NX-OS 4.0的實施為未來開發(fā)支持組播的豐富網絡功能奠定基礎。 </p><p>　　Cisco NX-OS去除已廢棄的功能，如PIM密集模式，這是體現操作系統(tǒng)的前瞻性發(fā)展方向的一個實例。</p><p>　　服務質量(QoS)：Cisco NX-OS支持多種QoS機制，包括分類、標記、隊列、監(jiān)管和調度。所有QoS特性都支持模塊化QoS CLI (MQC)。MQC能用于在各種思科平臺上

90、提供統(tǒng)一的配置。</p><p><b>　　網絡安全 </b></p><p>　　Cisco TrustSec: 作為Cisco TrustSec安全套件的一個組件， Cisco NX-OS提供出色的數據保密性和完整性，利用128位高級加密標準（AES）支持標準的IEEE 802.1AE鏈路層加密。鏈路層加密保證端到端數據私密性，允許按照加密路徑添加安全服務設備。

91、安全組訪問控制列表(SGACL)是網絡訪問控制的一個新模式，是在安全組標記而非IP地址的基礎上構建的，能夠支持更加精確的策略，且因為具有拓撲結構獨立性，使管理更加方便。 </p><p>　　其他網絡安全特性：除Cisco TrustSec以外，Cisco NX-OS 4.0還提供以下安全特性：</p><p>　　數據路徑入侵檢測系統(tǒng)（IDS），用于協議遵從性檢查 </p>

92、<p>　　控制平面限速（CoPP）</p><p><b>　　MD5路由協議驗證</b></p><p>　　思科集成安全特性，包括動態(tài)ARP檢測(DAI)、DHCP電子欺騙和IP源防護</p><p>　　AAA和TACACS+ </p><p><b>　　SSH協議版本2 </b&g

93、t;</p><p><b>　　SNMPv3支持</b></p><p><b>　　端口安全</b></p><p>　　IEEE 802.1x驗證和RADIUS支持 </p><p>　　第二層思科網絡準入控制(NAC)局域網端口IP </p><p>　　由命名AC