10G 網卡(infiniband 與光纖網卡)..

因為要做台灣第一的XX 所以OSSLAB 有幾台 Client 每天 I/O 需求不小

每台Client I /O 有可能會到 70 MB/sec * 4~5 = 2xx MB /sec

FC 8G 都很天價 本來打算換 4G FC Card
再裝上FC NDIS driver .讓光纖成為乙太網路 FCOE 方式.

沒想到 10G 價格低的不可思議


10Gbe 有分10GBASE-CX4 跟10GBASE-T
10GBase-T 通於之前 Rj-45 結構


而10GBASE-CX4 是用 InfiniBand 10G
比以往成熟很多 已經不是以往只能做 Cluster 節點運算用
現對於儲存裝置support 更佳成熟ˋ更多協定支援
相同於FC 來比 inifiniband 距離短是比較大缺點

[IMG]http://www.robotics.net/wp-content/uploads/Mellanox-MHEL-CF128-T.png[/IMG]


mellanox 的 MHEL-CF128-T ( pci-e 規格 InfiniBand InfiniHost III Ex 晶片 dual port 網卡 )

是比教主流晶片 並且勤於更新firmware 與軟體 驅動


Protocol Support
* Open MPI, OSU MVAPICH, Intel MPI, MS MPI, and Platform MPI
* TCP/UDP, EoIB, IPoIB, SDP, and RDS
* SRP, iSER, NFS RDMA, FCoIB, and FCoE
* uDAPL

要能支持以上Protocol 需要Driver 上設定正確
mellanox driver 有分三種模式

- VPI mode (虛擬協議互連)
（這張舊款沒有)

- Ethernet only mode
這應該跟NDIS driver 一樣
（這張舊款也沒有 但是IB mode 有over ib)

- IB only mode
(InfiniBand 縮寫) 但是有IPoverIB 因此可用


以上分類主要是在控制台內顯示 但實際上都有NDIS Driver 模式


驅動下載
[url=http://www.mellanox.com/content/pages.php?pg=software_overview_ib&menu_section=34]http://www.mellanox.com/content/pages.php?pg=software_overview_ib&menu_section=34[/url]
有for ESX

OS 支持
[url=http://www.mellanox.com/content/pages.php?pg=osv_support_ib&menu_section=34#IB_Support]http://www.mellanox.com/content/pages.php?pg=osv_support_ib&menu_section=34#IB_Support[/url]

東西在飛機上 有空慢慢補充

[QUOTE=thx;1098440]因為要做台灣第一的XX 所以OSSLAB 有幾台 Client 每天 I/O 需求不小

每台Client I /O 有可能會到 70 MB/sec * 4~5 = 2xx MB /sec

FC 8G 都很天價 本來打算換 4G FC Card
再裝上FC NDIS driver .讓光纖成為乙太網路 FCOE 方式.

沒想到 10G 網卡價格低的不可思議

snipped....[/QUOTE]

鵝幾年前survey過,某牌dual port 10GbE CX4只要US$1xx/pcs是很便宜,不過有CX4的switch可一點都不便宜了:|||::|||:....

[QUOTE=wangcm;1098441]鵝幾年前survey過,某牌dual port 10GbE CX4只要US$1xx/pcs是很便宜,不過有CX4的switch可一點都不便宜了:|||::|||:....[/QUOTE]


其實還有 6G *4 = 24G SAS Protocol 可以選擇 高速I/O
並且sas 8 port switch  拿nt 8k card +power 就可替代
不過好像無法在sas phy上跑tcp /ip 若有高人指點感謝不盡


我買的是pci-e 規格 InfiniHost III Ex 晶片 dual port 網卡(MHEL-CF128-T )帶線
Server 打算放二張 就可接四台 10Gbe Client..
如果換做買 FC ,FC 2 Gb PCI-E 都買不到

Driver support是個很重要問題 先確定用啥 chip(infiniHost III Ex )
買之前 一定要查清楚driver support.

還有其他SAN file system等解決I/O方式

小弟這篇文章沒有人做英文版筆記
[url]http://phorum.study-area.org/index.php/topic,65064.0.html[/url]

所以目前市場上Infiniband card pci-e 都可以很便宜買到

這張卡I/O 應用

[img]https://lh6.googleusercontent.com/--3cRF2cWeYw/TnXai_Cj61I/AAAAAAAAAgY/eBj9OT-clVk/dd.png[/img]

[img]https://lh4.googleusercontent.com/-XtHVOPIY9Vw/TnXaQ27QT7I/AAAAAAAAAgU/ofX7ghuZDs8/s1008/10g.png[/img]

把10G 網卡總整理一下 共有下面介質訊號

光纖

10GBASE-SR
10GBASE-LR
10GBASE-LRM
10GBASE-ER
10GBASE-ZR
10GBASE-LX4
連接頭也有所不同

銅

10GBASE-CX4
10GBASE-KX4
10GBASE-KR
10GBASE-T

10GBast-T 乙太網路 佈線麻煩 價格高 性能最差 (latency time最長)
除了相容於 舊的乙太網路外
在10G PHY 規格中是最差的

但在正常 高速I/O 規劃 打死我也不把1G 放入10G Lan內. 怕被拖到速度..
所以我跟本不考慮 10GBASE-T網路卡

一般我會建議用10G 光通道網路卡

10GBASE-SR ("short range") uses the IEEE 802.3 Clause 49 64B/66B Physical Coding Sublayer (PCS)
波長850 nm 多模 標準om1 線 最大為80M , om3 線為300M

10GBASE-LR ("long reach") uses the IEEE 802.3 Clause 49 64B/66B Physical Coding Sublayer (PCS)
波長 1310 nm 單模 可傳送10 公里,不過常常可以到2x公里..

以下為廠商介紹
一般來講 10G網卡 都為CNA (converged network adapter)
除了TCP/IP ,RDMA ,ISCSI , FCOE 還都有 Open Fabrics用於叢集電腦運算.

1.Mellanox
上面講很多了
Infiniband 技術為主
infiniband 支持GPU Direct 是最特別地方..

2.Qlogic
光通道技術為主, 也有infiniband ,跟一般網卡.不過當然最拿手技術為光通道
這邊當然要講最高級 CNA QLogic 8200 Series
[url]http://www.qlogic.com/Products/adapters/Pages/ConvergedNetworkAdapters.aspx[/url]

3.Emulex
光通道技術為主 oneconnect系列
[url]http://www.emulex.com/products/oneconnect-ucnas.html[/url]

4. chelsio 光通道技術為主
[url]http://www.chelsio.com[/url]
support OS X

5.Intel
除了10GBASE-T一般10G 網卡
也有SFＰ＋樣式 可轉光


6.Boradcom
10GBASE-T 為主

要注意的是　不是每張卡會有 SR-IOV

[url]http://benjr.tw/node/698[/url]
PCI-SIG 的 Single Root I/O Virtualization (SR-IOV) 的技術. 透過 SR-IOV 這一項技術更進一步提升 VT-d 的功能.他可以同時讓多個 VM 虛擬機與實體 I/O 裝置同時建立通道(communication channels).

我會建議搭配卡 10Gbase -SR ,搭配現在給一般FC HBA光纖 線通用 ,LC頭.線就可 ..很便宜 20 M 我在深圳買nt 1xx.
因為一般舊 FC HBA 也都是配多模 波長850 nm發射器

一般高速卡是用做成SFP +型式, 要注意價格含不含光電模組... 如果購買就選用 10GBASE-SR LC頭 是比較通用選擇

10G switch 一般都是SFP . SFP也可轉光或電

[url]http://www.facebook.com/event.php?eid=181003555286914[/url]

我是買不起下面
一台 24 port 10G switch + 2　張 10G CNA 光纖卡 + 4 SFP .嗯 特價[color=red]要50萬[/color]。.... :P
[url]http://www.facebook.com/event.php?eid=181003555286914[/url]
所以寫這一串筆記.....

家裡的電腦裝這種硬體應該沒有用武之地 ...
真的這麼快的速度. 上網就不能殺時間了 ...

IB 用了快10個月了 遇到一些問題
一.MTU 太小 隨機I/O 很爛

二 前陣子才剛上線ESX 5

但發現Mellanox ConnectX (InfiniBand/VPI Cards )
ESX 5下驅動還沒出
[url]http://communities.vmware.com/message/1838767#1838767[/url]

改用Mellanox ConnectX EN 可支持ESX 但是 這樣就少了
OpenFabrics Enterprise Distribution (OFED)驅動 而且夭壽貴


三. (InfiniBand/VPI Cards ) 本身不是真正底層Storage card
boot lun 應用有不少問題 (這部份文後有詳細討論)

因此 OSSLab 一直想更換張真正 高性能的 10G (網路卡+Storage HBA 混合卡)
但是這張卡正常報價在NT 6萬跑不掉
買個三張 =18萬 :(

後來找到
[img]http://www.osslab.com.tw/@api/deki/files/2719/=Emulex.png[/img]
會這樣便宜是因為廠商不知道oem 料號跟原廠料號批配性　所以隨便賣了

這張同於 Emulex OneConnect OCe10102 CNA
只是不帶SFP + 光電轉換頭了
這頭很貴 先拿SFP+線 短距 對接

萬兆SFP 對接線
[url]http://item.taobao.com/item.htm?id=14320236857[/url]
[url]http://item.taobao.com/item.htm?id=10876591099[/url]


CNA 是converged network adapter縮寫
共有下面功能 四合一

OneConnect 10GbE Network Adapters
OneConnect 10GbE FCoE Converged Network Adapters
OneConnect 10GbE iSCSI Adapters
這張卡同於Emulex 16G FC 光纖卡　驅動可共用

驅動支持度還不錯
[url]http://www.emulex.com/downloads/emulex.html[/url]

先來看圖　說清楚FCOE 應用狀況
網路上可以查到一堆
[COLOR="Red"]FCoE是規範將光纖通道（Fibre Channel）訊框直接映射為乙太網路訊框後，在底層為乙太網路上傳輸資料的協定。 [/COLOR]

這樣講太理論　請先看圖
[img]http://benjr.tw/files/images/nexus/fcoe_topology.png[/img]

FCOE協議最大功用是能讓傳統網路卡去存取舊有的FC Target Storage.
或是說讓fc 跟tcp/ip 硬體共用

比如說你想要讓你的一般10G 網路卡存取FC SAN storage Lun 硬碟.

一般卡 沒有FCOE 硬體運算協定轉換 (Intel 10G ,Broadcom 10G 網卡都沒 只有補助運算) ,
先要搭配 open-FCoE 或其自家 software fcoe initiator
可以讓系統產生 FC Frame 然後讓 NIC 將此FC Frame 封裝在傳統的 Enternet Frame
前端可以為一般網路通道 (傳統 乙太 Switch ,網路線) ,後面為再透過Fcoe Switch 轉光纖.
再接上FC SAN 就可以Mount 存取 FC SAN 的Lun.
.
但是透過openfcoe跟設定 是比較麻煩

再者,如果要做fcoe lun boot的話,軟體協議的卡.用software fcoe initiator
無法視為本地硬碟....

Fcoe 硬體卡　 就內建協定訊框轉換 如果直接接SFP + 再接10G Fcoe Switch ,再轉光纖 FC SAN Stoage .就可存取

一般CNA 是SFP +口 而SFP +口 再配光電模組
就可變成 10GBASE-SR or 10GBASE-LR (10G 光纖標準)

如果都為光口 OCe10102 CNA 也等於傳統Fibre HBA LPe16000光纖卡 (驅動完全通用) ,可以直接接上老款FC Stoage Switch　或是 FC Target儲存設備


配上圖 這樣大家對FCOE 應該有更完整觀念 請大家把這觀念跟應用狀況弄清楚

-------------------------------------------------------------------------------
那什麼是iscsi hba ?
簡單講 目前的intel or boardcom lan card 配上iscsi option boot rom 是IBF
並不是真正的 storage hba .

[img]http://www.osslab.com.tw/@api/deki/files/2720/=iscsi.png[/img]
先掛載了software iscsi initiator 再 load IBFT(iSCSI Boot Firmware Table)

這種狀況如果想要在iscsi boot lun 亂裝 OS 相容性很差
比如說vmware vsphere 4 就不可以以此方式安裝在Lun, Vsphere 4i ,5i就可

因此有 iscsi hba 卡..
像Qlogic QLA4050 ,QLE4060 iscsi hba
iSCSI HBA 是一張透過以太網路跟 Storage 連線的 SCSI 卡
OS視為"這種長的網卡東西"為Storage HBA 　

目前CNA 主要由三大廠Qlogic ,Emulex , Brocade 我個人是建議前二家

最終目標是打造出 ISCSI + FC + NFS + CIFS 四種協定的萬用Stroage 以方便工作上使用 測試
[img]http://blog.laspina.ca/images/GW-Architecture.jpg[/img]
[url]http://blog.laspina.ca/ubiquitous/multi_protocol_storage_provisioning_with[/url]

參考
[url]http://benjr.tw/taxonomy/term/74[/url]
[url]http://www.ithome.com.tw/itadm/article.php?c=66226[/url]
[url]http://www.ithome.com.tw/itadm/article.php?c=66226&s=2[/url]

共買了 3張卡+ 6 SFP+ 東西在飛機上
繼續連載

哇!! 能去拜師學藝嗎?