4.fc協(xié)議詳解

1、FC協(xié)議詳解,存儲(chǔ)技術(shù) —— 第3部分,目標(biāo),深刻理解FC協(xié)議的物理層、鏈路層、網(wǎng)絡(luò)層、傳輸層認(rèn)識(shí)FC協(xié)議的七種端口類型FC適配器的作用從SCSI遷移到FC網(wǎng)絡(luò),目錄,4.1 FC協(xié)議詳解4.2 FC協(xié)議的端口類型4.3 FC適配器和遷移到FC,4.1 FC協(xié)議詳解,4.1.1 FC 網(wǎng)絡(luò)和 SAN 的定義,Fibre Channel的定義：也就是“網(wǎng)狀通道”的意思，簡稱FC。Fiber和Fibre只有一字之差，所以產(chǎn)生很多

2、誤解。FC只代表Fibre Channel，而不是Fiber Channel，后者被翻譯為“光纖通道”。像TCP/IP一樣，F(xiàn)C協(xié)議集同樣具備TCP/IP和以太網(wǎng)中的很多概念，例如：FC交換機(jī)、FC路由器、SPF算法等。你完全可以將FC協(xié)議理解為SAN中的TCP/IP，因?yàn)樗麄兌甲裱璒SI模型。SAN的定義：它首先是一個(gè)網(wǎng)絡(luò)，全稱“存儲(chǔ)區(qū)域網(wǎng)絡(luò)”，而不是指存儲(chǔ)設(shè)備，這個(gè)網(wǎng)絡(luò)是專門用來給主機(jī)連接存儲(chǔ)設(shè)備使用的，使用FC協(xié)議集，而不是TC

3、P/IP。SAN網(wǎng)絡(luò)與LAN網(wǎng)絡(luò)相隔離，存儲(chǔ)數(shù)據(jù)流不會(huì)占用業(yè)務(wù)網(wǎng)絡(luò)帶寬。,4.1.2 FC協(xié)議 —— 物理層,傳輸速率：作為一種高速的網(wǎng)絡(luò)傳輸技術(shù)，F(xiàn)C協(xié)議體系的物理層具有比較高的速度，從1Gb/s、2Gb/s、4Gb/s和8Gb/s，注意：其底層是使用了同步串行傳輸方式，采用NMB編碼方式。傳輸介質(zhì)：FC在物理層并不僅僅只有光介質(zhì)，還可以有銅介質(zhì)，但如果要實(shí)現(xiàn)遠(yuǎn)距離傳輸，就必須使用光纖介質(zhì)，銅介質(zhì)容易受干擾，所以傳輸距離受限制。,

4、4.1.3 FC協(xié)議 —— 鏈路層：封包結(jié)構(gòu),現(xiàn)代通信在鏈路層一般都是成幀的，也就是將上層發(fā)來的數(shù)據(jù)封裝報(bào)頭和報(bào)尾然后再傳輸，因此FC協(xié)議在鏈路層也是成幀的。如下圖：在鏈路層定義了24字節(jié)的幀頭，這24字節(jié)還包含了網(wǎng)絡(luò)層和傳輸層的功能，因此FC的開銷比TCP/IP（54字節(jié)）要小的多。FC鏈路層的MTU是2148字節(jié)，減去一些開銷（幀開始、幀頭、CRC、幀結(jié)束），可以容納最大2112字節(jié)的數(shù)據(jù)，F(xiàn)C相對(duì)以太網(wǎng)（1500字節(jié)）效率又

5、提高了3分之1。,,FC協(xié)議封包結(jié)構(gòu),4.1.3 FC協(xié)議 —— 鏈路層：幀頭結(jié)構(gòu),下面是FC協(xié)議的幀頭結(jié)構(gòu)：—— R_CTL：路由部分標(biāo)示是數(shù)據(jù)幀或鏈路控制幀，信息部分標(biāo)示數(shù)據(jù)類型?！?D_ID：目的設(shè)備的FC地址—— CS_CTL/PRI：服務(wù)質(zhì)量控制—— S_ID：源設(shè)備的FC地址—— Type：表明下一個(gè)協(xié)議，在R_CTL中指的是一個(gè)控制幀—— F_CTL：各種FC選項(xiàng)，例如序列信息以及出現(xiàn)問題的時(shí)候應(yīng)該如何處理

6、—— SEQ_ID：  一個(gè)和IP類似的序列號(hào),,4.1.4 FC協(xié)議 —— 網(wǎng)絡(luò)層：拓?fù)?FC提供了兩種網(wǎng)絡(luò)拓?fù)淠Ｊ剑?,—— FC-AL：如右上圖所示，該拓?fù)漕愃朴谝蕴W(wǎng)共享總線的拓?fù)?，所有設(shè)備都連接在一個(gè)仲裁環(huán)中，首位相接，一個(gè)環(huán)路最多能接入128個(gè)節(jié)點(diǎn)，數(shù)據(jù)是按照一個(gè)方向被一跳一跳傳輸?shù)?，同一時(shí)間只能有一個(gè)發(fā)送者。一旦中間一個(gè)設(shè)備發(fā)送故障，將實(shí)現(xiàn)“旁路功能”，自動(dòng)將接口短路，從而使得整個(gè)環(huán)路將整個(gè)故障設(shè)備忽略掉。不

7、影響其他設(shè)備正常工作。,—— Fabric：如右下圖所示，該拓?fù)漕愃朴谝蕴W(wǎng)交換機(jī)，F(xiàn)abric的意思為“網(wǎng)狀網(wǎng)絡(luò)”，表明這種拓?fù)淦鋵?shí)是一個(gè)網(wǎng)狀交換矩陣，相對(duì)于仲裁環(huán)，交換矩陣的轉(zhuǎn)發(fā)效率大大提高了，連入這個(gè)矩陣的所有節(jié)點(diǎn)之間都可以同時(shí)進(jìn)行點(diǎn)對(duì)點(diǎn)的通信，它的交換帶寬是接口帶寬的總和，而仲裁環(huán)不管接口有多少，帶寬都是恒定的。,4.1.4 FC協(xié)議 —— 網(wǎng)絡(luò)層：編址,任何網(wǎng)絡(luò)都需要尋址機(jī)制，F(xiàn)C當(dāng)然也不例外， 但FC的尋址和編制方式與以太

8、網(wǎng)有所不同，例如：在以太網(wǎng)交換機(jī)的端口上不需要有MAC地址，而FC交換機(jī)上的端口都有自己的WWPN地址，這是因?yàn)樵贔C網(wǎng)絡(luò)中，F(xiàn)C交換機(jī)擔(dān)當(dāng)了很重要的角色，它要處理到FC協(xié)議的最上層——應(yīng)用層。也就是說，F(xiàn)C終端設(shè)備只負(fù)責(zé)產(chǎn)生數(shù)據(jù)，其他功能（封包、流控和安全等）均由FC交換機(jī)來保障，下面是FC的編址類型：—— WWNN：不管這個(gè)設(shè)備上有多少個(gè)FC端口，F(xiàn)C設(shè)備自身都有一個(gè)唯一的WWNN地址來代表它自己。 —— WWPN：FC設(shè)備的每

9、個(gè)端口都有一個(gè)全球唯一的WWPN地址，地址的長度是64位，但用8個(gè)字節(jié)來做路由，是不明智的，因此還需要再映射一層地址?！?Fabric ID：WWPN和Fabric ID之間需要建立映射關(guān)系，就像MAC和IP的映射一樣，設(shè)備會(huì)為每個(gè)連接到FC網(wǎng)絡(luò)中的接口分配一個(gè)Fabric ID，用這個(gè)ID嵌入到鏈路幀中做路由，這個(gè)ID長24位，格式如下：Domain ID：前8位是Domain ID，用來區(qū)分網(wǎng)絡(luò)中每臺(tái)FC交換機(jī)。WWNN最小者

10、獲勝成為主交換機(jī)，然后這個(gè)交換機(jī)向所有其他交換機(jī)分配Domain ID。Area ID：中8位是Area ID，用來區(qū)分同一臺(tái)交換機(jī)上不同的端口組，比如1、2、3、4端口屬于Area 1。Port ID：后8位是Port ID，用來區(qū)分一個(gè)同Area中不同端口。,,通過這樣的尋址體系，可以在一個(gè)FC網(wǎng)絡(luò)中，區(qū)分每個(gè)交換機(jī)、每個(gè)端口組、每個(gè)端口,4.1.4 FC協(xié)議 —— 網(wǎng)絡(luò)層：尋址（1）,既然定義了兩套編制體系：WWPN和Fab

11、ric ID，那么一定要有映射機(jī)制，就像ARP協(xié)議一樣，F(xiàn)C協(xié)議中的地址映射步驟如下：1.注冊(cè)：一個(gè)接口連接到FC網(wǎng)絡(luò)中時(shí)，如果是Fabric架構(gòu)，那么這個(gè)接口會(huì)發(fā)起一個(gè)注冊(cè)到Fabric網(wǎng)絡(luò)的動(dòng)作，向目的地址FFFFFE發(fā)送一個(gè)登錄幀，稱為FLOGIN。2.映射：交換機(jī)收到目的地址為FFFFFE的幀之后，會(huì)動(dòng)態(tài)的給這個(gè)接口分配一個(gè)24位的Fabric ID，并記錄這個(gè)接口對(duì)應(yīng)的WWPN，做好映射。3.發(fā)送：此后這個(gè)接口發(fā)出的所有

12、幀都不會(huì)攜帶WWPN地址，而是攜帶其被分配的Fabric ID作為源地址。4.仲裁環(huán)：當(dāng)連接到仲裁環(huán)網(wǎng)絡(luò)中時(shí)，所有節(jié)點(diǎn)會(huì)選出一個(gè)臨時(shí)節(jié)點(diǎn)（WWPN號(hào)最小者勝出），然后由這個(gè)節(jié)點(diǎn)發(fā)送一系列的初始化幀，給每個(gè)節(jié)點(diǎn)分配環(huán)路ID。,,,,4.1.4 FC協(xié)議 —— 網(wǎng)絡(luò)層：尋址（2）,因?yàn)閺囊婚_始FC就是被設(shè)計(jì)給專用、高速、高效的網(wǎng)絡(luò)使用的，為了避免人為操作失誤，F(xiàn)C網(wǎng)絡(luò)中所有操作都不需要人工介入，設(shè)備將自動(dòng)分配和管理各種地址（WWPN）、

13、自動(dòng)運(yùn)行和設(shè)置路由協(xié)議（SPF最短路徑優(yōu)先）。FC交換機(jī)接口所連接的設(shè)備在登錄到FC網(wǎng)絡(luò)時(shí)都會(huì)向一個(gè)指定的ID（這個(gè)ID只是運(yùn)行在交換機(jī)上的一個(gè)名稱服務(wù)程序）發(fā)送注冊(cè)幀，設(shè)備完成注冊(cè)之后，名稱服務(wù)程序便會(huì)將網(wǎng)絡(luò)上存在的其他節(jié)點(diǎn)信息告訴這個(gè)接口上所連接的設(shè)備。尋址的安全性問題：,,—— 軟ZONE：讓名稱服務(wù)器只告訴某個(gè)設(shè)備特定的節(jié)點(diǎn)。例如：網(wǎng)絡(luò)上存在A、B、C三個(gè)節(jié)點(diǎn)，可以讓名稱服務(wù)只向A通告B節(jié)點(diǎn)，而隱藏C節(jié)點(diǎn)，這樣A看不到C。但

14、如果A知道C的ID，也可以直接去訪問d，這就是軟ZONE?！?硬ZONE：也可以將 A 和 B 劃入一個(gè)ZONE中，該方式為底層硬件隔離，這樣即使知道ID也無法通信了。,—— LUN Masking：SCSI指令集中有一個(gè)指令叫做Report LUN，作用是發(fā)起端發(fā)出這條指令，目標(biāo)端收到后，就要向發(fā)起端報(bào)告自己的LUN信息。根據(jù)這個(gè)原理，我們可以讓磁盤控制器根據(jù)發(fā)起端的WWPN地址，提供相應(yīng)的LUN給它。例如：針對(duì)主機(jī)A，控制器就報(bào)

15、告LUN1、LUN2，主機(jī)B，就報(bào)告LUN3，如果某個(gè)主機(jī)強(qiáng)行訪問不屬于它的LUN，盤陣控制器便會(huì)拒絕這個(gè)請(qǐng)求。還可以配置選擇性的將某個(gè)LUN分配到盤陣的指定前端端口上。,FC傳輸層同樣也與TCP類似，也對(duì)上層的數(shù)據(jù)進(jìn)行segment，而且還要區(qū)分上層程序，TCP是利用端口來區(qū)分，F(xiàn)C則是利用Exchange ID來區(qū)分。,4.1.5 FC協(xié)議 —— 傳輸層：包結(jié)構(gòu),,,,,,,每個(gè)Exchange發(fā)過來的數(shù)據(jù)包，被FC傳輸層分割成I

16、nformation Unit，也就相當(dāng)于TCP分割成的Segment。然后FC傳輸層將這些Unit提交給FC的下層進(jìn)行傳輸。下層將每個(gè)segment當(dāng)作一個(gè)Sequence，并給予一個(gè)Sequence ID，然后將這個(gè)Sequence再次分割成FC所適應(yīng)的幀，給每個(gè)幀賦予一個(gè)Sequence Count，這樣便可以保證幀的排列順序。接收方接收到幀之后，會(huì)組合成Sequence，然后根據(jù)Sequence ID來順序提交給上層協(xié)議處理。,

17、4.1.5 FC協(xié)議 —— 傳輸層：功能,傳輸層還有一個(gè)重要角色，就是適配上層協(xié)議，如下圖所示：比如IP可以通過FC進(jìn)行傳輸，SCSI指令也可以通過FC傳輸。FC會(huì)提供適配上層協(xié)議的接口，就是IP over FC及SCSI over FC。FC只是給IP和SCSI提供了一種通路，一種傳輸手段，就像IP over Ethernet和IP over ATM一樣。,,4.1.5 FC協(xié)議 —— 傳輸層：服務(wù)種類,在傳輸層，F(xiàn)C定義了幾種服

18、務(wù)類型，也就是類似于TCP/IP協(xié)議中規(guī)定的TCP和UDP，具體類型如下：—— Class 1：這是一種面向連接的服務(wù)，類似于電路交換的模式，將為通信的雙方保留一條虛電路，以進(jìn)行可靠地傳輸?！?Class 2：它提供的是一種端到端確認(rèn)傳輸?shù)姆?wù)，類似于TCP?！?Class 3：這種服務(wù)類型不提供確認(rèn)，類似于UDP。—— Class 4：這種類型是在鏈路上保留一定的帶寬資源給上層應(yīng)用，但不是保留整個(gè)鏈路，工作原理類似于RSV

19、P服務(wù)。為了進(jìn)一步提高FC網(wǎng)絡(luò)的速度和效率，F(xiàn)C協(xié)議的大部分邏輯功能被直接做到一塊獨(dú)立的適配卡當(dāng)中，而不是運(yùn)行在操作系統(tǒng)中，因?yàn)槿绻麑f(xié)議邏輯置于系統(tǒng)上運(yùn)行，會(huì)占用主機(jī)CPU和內(nèi)存資源，下面是TCP/IP和FC協(xié)議之間的比較：操作系統(tǒng)中運(yùn)行：IP和TCP/UDP模塊就是運(yùn)行在操作系統(tǒng)之上的協(xié)議，而只有以太網(wǎng)邏輯是運(yùn)行在以太網(wǎng)卡芯片中，CPU從以太網(wǎng)卡接受到的數(shù)據(jù)時(shí)攜帶有IP頭部及TCP/UDP頭部的，需要運(yùn)行在CPU中的TCP/IP

20、協(xié)議代碼來進(jìn)一步處理這些頭部，才能生成最終的應(yīng)用程序需要的數(shù)據(jù)。 適配卡中運(yùn)行：FC協(xié)議物理層到傳輸層的邏輯功能，大部分都運(yùn)行在FC交換機(jī)和FC適配卡的芯片中，只有小部分關(guān)于上層API的邏輯運(yùn)行于操作系統(tǒng)FC卡驅(qū)動(dòng)程序中，這樣就使FC協(xié)議的速度和效率都較TCP/IP協(xié)議高。,,4.2 FC協(xié)議的端口類型,—— L端口：它指的是仲裁環(huán)上各個(gè)節(jié)點(diǎn)的端口類型。環(huán)路上的所有設(shè)備可以通過一個(gè)FCAL的集線器相連，如下圖所示。當(dāng)然，也可以使用最原

21、始的方法，就是首尾相接。,4.2.1 FC協(xié)議的七種端口類型,在FC網(wǎng)絡(luò)中，存在七種類型的接口，其中N、L和NL端口被用于終端節(jié)點(diǎn)，F(xiàn)、FL、E、和G端口在交換機(jī)中實(shí)現(xiàn)?！?N端口和F端口：如下圖所示，這兩個(gè)端口類型專用于Fabric交換架構(gòu)中。連入FC交換機(jī)終端節(jié)點(diǎn)的端口為N端口，對(duì)應(yīng)的交換機(jī)上的端口為F端口。用N端口模式連入F端口之后，網(wǎng)絡(luò)中的N節(jié)點(diǎn)之間就可以互相進(jìn)行點(diǎn)對(duì)點(diǎn)通信了。,,4.2.1 FC協(xié)議的七種端口類型,在學(xué)

22、習(xí)其他類型端口之前，首先來看一下FC仲裁環(huán)的幾種類型：,,—— 私有環(huán)：是指這個(gè)FC仲裁環(huán)是封閉的，只能在這個(gè)環(huán)中所包含的節(jié)點(diǎn)之間相互通信，而不能和環(huán)外的任何節(jié)點(diǎn)通信。—— 開放環(huán)：是指環(huán)內(nèi)節(jié)點(diǎn)之間可以相互通信，而且還可以和環(huán)外的節(jié)點(diǎn)通信。也就是說開放環(huán)是連接在FC交換機(jī)上的一個(gè)單元，因此環(huán)內(nèi)的節(jié)點(diǎn)可以和位于FC交換機(jī)上的N節(jié)點(diǎn)通信，但要實(shí)現(xiàn)這種架構(gòu)，需要特殊的端口，即下面描述的NL和FL端口。NL端口和FL端口：如右圖所示，NL端

23、口是開放環(huán)中的一類端口，它具有N端口和L端口的雙重特性。換句話說，NL端口既支持Fabric架構(gòu)，也支持仲裁環(huán)架構(gòu)。而FL端口是FC交換機(jī)上用于連接開放環(huán)的中介端口。開放環(huán)可以同時(shí)存在NL節(jié)點(diǎn)和L節(jié)點(diǎn)，而只有NL節(jié)點(diǎn)才能和環(huán)外的N節(jié)點(diǎn)通信，L節(jié)點(diǎn)只可以與L和NL節(jié)點(diǎn)通信,E端口：如果FC交換機(jī)之間級(jí)聯(lián)，它們之間的端口就是E端口，該端口上面將承載一些控制信息，比如選舉協(xié)議、路由協(xié)議等。G端口：該種類型的端口將根據(jù)所連接對(duì)方的端口類型進(jìn)行

24、自動(dòng)協(xié)商變成任何一種端口，它可以轉(zhuǎn)變?yōu)樯厦嬷v到過的任何一種端口類型，也叫“萬能”端口。,4.3 FC適配器和遷移到FC,4.3.1 認(rèn)識(shí)FC適配器,HBA（主機(jī)總線適配器）：如右圖所示，它的主要功能是通過一個(gè)擴(kuò)展卡將一個(gè)外部功能接入到主機(jī)總線中，擴(kuò)展主機(jī)的功能。 由于大多數(shù)主機(jī)都不具備FC接口，主機(jī)如果要連接到FC網(wǎng)絡(luò)，當(dāng)然也就需要安裝FC HBA。FC HBA本身就是一個(gè)小計(jì)算系統(tǒng)，它有自己的CPU、RAM和ROM，ROM中存放Fi

25、rmware，加電之后由其上的CPU載入運(yùn)行?！?重要誤解1：FC網(wǎng)絡(luò)的介質(zhì)不僅僅只有光纖，還有DB9銅線和RJ45/47線纜，它們都可以用于接入FC網(wǎng)絡(luò)，只要對(duì)端設(shè)備也具有同樣的接口。所以，千萬不要認(rèn)為FC就是光纖。FC協(xié)議和光纖或者銅線實(shí)際上沒有必然聯(lián)系。如果可能的話，也可以用無線、微波紅外線等來實(shí)現(xiàn)FC協(xié)議的物理層?！?重要誤解2：也不要認(rèn)為FC交換機(jī)就是插光纖的以太網(wǎng)交換機(jī)，F(xiàn)C協(xié)議是一套完全獨(dú)立的網(wǎng)絡(luò)協(xié)議，比以太網(wǎng)要復(fù)

26、雜的多，由于Fibre和Fiber相似，再加上FC協(xié)議普遍都用光纖作為傳輸線纜而不用銅線，所以人們下意識(shí)的稱FC為光纖通道協(xié)議而不是網(wǎng)狀通道協(xié)議。,,前面我們提到的存儲(chǔ)架構(gòu)主機(jī)和盤陣之間是使用SCSI并行總線連接的，這種方式由于速率的問題有局限性，如今有了FC，我們就可以將原來基于SCSI總線的存儲(chǔ)網(wǎng)絡(luò)架構(gòu)全面遷移到FC提供的高速、高效的網(wǎng)絡(luò)架構(gòu)了。這種方案磁盤容量并沒有提高，所提升的只是前端性能。下圖是遷移前和遷移后的對(duì)比圖。,4.3

27、.2 從SCSI 遷移到FC —— 原因,,遷移前使用SCSI總線連接,遷移后使用FC適配器連接,4.3.2 從SCSI 遷移到FC —— 原理,通路雖然從SCSI變成FC了，但FC協(xié)議只是一套網(wǎng)絡(luò)傳輸體系，并沒有定義SCSI指令集這樣可以用于向磁盤存取數(shù)據(jù)的通用語言。所以要解決如果能夠在FC網(wǎng)絡(luò)上承載SCSI指令集的問題，解決方案如下：—— 用FC承載SCSI：SCSI協(xié)議集是一套的協(xié)議體系，同樣有OSI中的各個(gè)層次，物理層使用

28、并行傳輸。而SCSI協(xié)議集的應(yīng)用層其實(shí)就是SCSI協(xié)議指令，而我們要解決的就是如何將這些指令幀通過FC網(wǎng)絡(luò)傳送給對(duì)方。因此在SCSI-3協(xié)議規(guī)范中，將SCSI指令語意部分（OSI上三層）和SCSI底層傳輸部分（OSI下四層）分割開了，使得SCSI指令集可以使用其他網(wǎng)絡(luò)傳輸方式進(jìn)行傳輸，而不僅限于并行SCSI總線。也就是說，由FC協(xié)議的底層模塊擔(dān)當(dāng)傳輸通道，將SCSI協(xié)議集的上層內(nèi)容傳送給對(duì)方。也可以這么理解，SCSI協(xié)議將自己底層的傳輸

29、流程外包給了FC協(xié)議來做。下面是FC和SCSI的性能對(duì)比,,4.3.3 結(jié)語：引入FC之后的變化,提高了SCSI協(xié)議可擴(kuò)展性：過去SCSI總線上的所有設(shè)備是共享帶寬，現(xiàn)在是獨(dú)享，并且盤陣如果只提供一個(gè)FC前端接口，只要使用FC交換機(jī)相連，同樣可以連接多臺(tái)主機(jī)。增加了傳輸距離：由于FC支持光纖通信，從而可以使主機(jī)和相隔很遠(yuǎn)盤陣相連讀寫數(shù)據(jù)解決安全性問題在磁盤陣列控制器上做“手腳”在FC交換設(shè)備上做“手腳”多路徑訪問目標(biāo)如