版豬 | 10G 網卡(infiniband 與光纖網卡).. 因為要做台灣第一的XX 所以OSSLAB 有幾台 Client 每天 I/O 需求不小 每台Client I /O 有可能會到 70 MB/sec * 4~5 = 2xx MB /sec FC 8G 都很天價 本來打算換 4G FC Card 再裝上FC NDIS driver .讓光纖成為乙太網路 FCOE 方式. 沒想到 10G 價格低的不可思議 10Gbe 有分10GBASE-CX4 跟10GBASE-T 10GBase-T 通於之前 Rj-45 結構 而10GBASE-CX4 是用 InfiniBand 10G 比以往成熟很多 已經不是以往只能做 Cluster 節點運算用 現對於儲存裝置support 更佳成熟ˋ更多協定支援 相同於FC 來比 inifiniband 距離短是比較大缺點 mellanox 的 MHEL-CF128-T ( pci-e 規格 InfiniBand InfiniHost III Ex 晶片 dual port 網卡 ) 是比教主流晶片 並且勤於更新firmware 與軟體 驅動 Protocol Support * Open MPI, OSU MVAPICH, Intel MPI, MS MPI, and Platform MPI * TCP/UDP, EoIB, IPoIB, SDP, and RDS * SRP, iSER, NFS RDMA, FCoIB, and FCoE * uDAPL 要能支持以上Protocol 需要Driver 上設定正確 mellanox driver 有分三種模式 - VPI mode (虛擬協議互連) (這張舊款沒有) - Ethernet only mode 這應該跟NDIS driver 一樣 (這張舊款也沒有 但是IB mode 有over ib) - IB only mode (InfiniBand 縮寫) 但是有IPoverIB 因此可用 以上分類主要是在控制台內顯示 但實際上都有NDIS Driver 模式 驅動下載 http://www.mellanox.com/content/page...enu_section=34 有for ESX OS 支持 http://www.mellanox.com/content/page...=34#IB_Support 東西在飛機上 有空慢慢補充 此篇文章於 2010-12-13 05:43 PM 被 thx 編輯。. |
回覆 |
會員 | 回覆: InfiniBand 10G 網卡.. |
回覆 |
版豬 | 回覆: InfiniBand 10G 網卡.. 其實還有 6G *4 = 24G SAS Protocol 可以選擇 高速I/O 並且sas 8 port switch 拿nt 8k card +power 就可替代 不過好像無法在sas phy上跑tcp /ip 若有高人指點感謝不盡 我買的是pci-e 規格 InfiniHost III Ex 晶片 dual port 網卡(MHEL-CF128-T )帶線 Server 打算放二張 就可接四台 10Gbe Client.. 如果換做買 FC ,FC 2 Gb PCI-E 都買不到 Driver support是個很重要問題 先確定用啥 chip(infiniHost III Ex ) 買之前 一定要查清楚driver support. 還有其他SAN file system等解決I/O方式 此篇文章於 2010-12-14 10:16 AM 被 thx 編輯。. |
回覆 |
版豬 | 回覆: InfiniBand 10G 網卡.. 小弟這篇文章沒有人做英文版筆記 http://phorum.study-area.org/index.p...c,65064.0.html 所以目前市場上Infiniband card pci-e 都可以很便宜買到 這張卡I/O 應用 把10G 網卡總整理一下 共有下面介質訊號 光纖 10GBASE-SR 10GBASE-LR 10GBASE-LRM 10GBASE-ER 10GBASE-ZR 10GBASE-LX4 連接頭也有所不同 銅 10GBASE-CX4 10GBASE-KX4 10GBASE-KR 10GBASE-T 10GBast-T 乙太網路 佈線麻煩 價格高 性能最差 (latency time最長) 除了相容於 舊的乙太網路外 在10G PHY 規格中是最差的 但在正常 高速I/O 規劃 打死我也不把1G 放入10G Lan內. 怕被拖到速度.. 所以我跟本不考慮 10GBASE-T網路卡 一般我會建議用10G 光通道網路卡 10GBASE-SR ("short range") uses the IEEE 802.3 Clause 49 64B/66B Physical Coding Sublayer (PCS) 波長850 nm 多模 標準om1 線 最大為80M , om3 線為300M 10GBASE-LR ("long reach") uses the IEEE 802.3 Clause 49 64B/66B Physical Coding Sublayer (PCS) 波長 1310 nm 單模 可傳送10 公里,不過常常可以到2x公里.. 以下為廠商介紹 一般來講 10G網卡 都為CNA (converged network adapter) 除了TCP/IP ,RDMA ,ISCSI , FCOE 還都有 Open Fabrics用於叢集電腦運算. 1.Mellanox 上面講很多了 Infiniband 技術為主 infiniband 支持GPU Direct 是最特別地方.. 2.Qlogic 光通道技術為主, 也有infiniband ,跟一般網卡.不過當然最拿手技術為光通道 這邊當然要講最高級 CNA QLogic 8200 Series http://www.qlogic.com/Products/adapt...kAdapters.aspx 3.Emulex 光通道技術為主 oneconnect系列 http://www.emulex.com/products/oneconnect-ucnas.html 4. chelsio 光通道技術為主 http://www.chelsio.com support OS X 5.Intel 除了10GBASE-T一般10G 網卡 也有SFP+樣式 可轉光 6.Boradcom 10GBASE-T 為主 要注意的是 不是每張卡會有 SR-IOV http://benjr.tw/node/698 PCI-SIG 的 Single Root I/O Virtualization (SR-IOV) 的技術. 透過 SR-IOV 這一項技術更進一步提升 VT-d 的功能.他可以同時讓多個 VM 虛擬機與實體 I/O 裝置同時建立通道(communication channels). 我會建議搭配卡 10Gbase -SR ,搭配現在給一般FC HBA光纖 線通用 ,LC頭.線就可 ..很便宜 20 M 我在深圳買nt 1xx. 因為一般舊 FC HBA 也都是配多模 波長850 nm發射器 一般高速卡是用做成SFP +型式, 要注意價格含不含光電模組... 如果購買就選用 10GBASE-SR LC頭 是比較通用選擇 10G switch 一般都是SFP . SFP也可轉光或電 http://www.facebook.com/event.php?eid=181003555286914 我是買不起下面 一台 24 port 10G switch + 2 張 10G CNA 光纖卡 + 4 SFP .嗯 特價要50萬。.... :P http://www.facebook.com/event.php?eid=181003555286914 所以寫這一串筆記..... |
回覆 |
會員 | 回覆: InfiniBand 10G 網卡.. 家裡的電腦裝這種硬體應該沒有用武之地 ... 真的這麼快的速度. 上網就不能殺時間了 ... |
回覆 |
版豬 | 回覆: InfiniBand 10G 網卡.. IB 用了快10個月了 遇到一些問題 一.MTU 太小 隨機I/O 很爛 二 前陣子才剛上線ESX 5 但發現Mellanox ConnectX (InfiniBand/VPI Cards ) ESX 5下驅動還沒出 http://communities.vmware.com/message/1838767#1838767 改用Mellanox ConnectX EN 可支持ESX 但是 這樣就少了 OpenFabrics Enterprise Distribution (OFED)驅動 而且夭壽貴 三. (InfiniBand/VPI Cards ) 本身不是真正底層Storage card boot lun 應用有不少問題 (這部份文後有詳細討論) 因此 OSSLab 一直想更換張真正 高性能的 10G (網路卡+Storage HBA 混合卡) 但是這張卡正常報價在NT 6萬跑不掉 買個三張 =18萬 後來找到 會這樣便宜是因為廠商不知道oem 料號跟原廠料號批配性 所以隨便賣了 這張同於 Emulex OneConnect OCe10102 CNA 只是不帶SFP + 光電轉換頭了 這頭很貴 先拿SFP+線 短距 對接 萬兆SFP 對接線 http://item.taobao.com/item.htm?id=14320236857 http://item.taobao.com/item.htm?id=10876591099 CNA 是converged network adapter縮寫 共有下面功能 四合一 OneConnect 10GbE Network Adapters OneConnect 10GbE FCoE Converged Network Adapters OneConnect 10GbE iSCSI Adapters 這張卡同於Emulex 16G FC 光纖卡 驅動可共用 驅動支持度還不錯 http://www.emulex.com/downloads/emulex.html 先來看圖 說清楚FCOE 應用狀況 網路上可以查到一堆 FCoE是規範將光纖通道(Fibre Channel)訊框直接映射為乙太網路訊框後,在底層為乙太網路上傳輸資料的協定。 這樣講太理論 請先看圖 FCOE協議最大功用是能讓傳統網路卡去存取舊有的FC Target Storage. 或是說讓fc 跟tcp/ip 硬體共用 比如說你想要讓你的一般10G 網路卡存取FC SAN storage Lun 硬碟. 一般卡 沒有FCOE 硬體運算協定轉換 (Intel 10G ,Broadcom 10G 網卡都沒 只有補助運算) , 先要搭配 open-FCoE 或其自家 software fcoe initiator 可以讓系統產生 FC Frame 然後讓 NIC 將此FC Frame 封裝在傳統的 Enternet Frame 前端可以為一般網路通道 (傳統 乙太 Switch ,網路線) ,後面為再透過Fcoe Switch 轉光纖. 再接上FC SAN 就可以Mount 存取 FC SAN 的Lun. . 但是透過openfcoe跟設定 是比較麻煩 再者,如果要做fcoe lun boot的話,軟體協議的卡.用software fcoe initiator 無法視為本地硬碟.... Fcoe 硬體卡 就內建協定訊框轉換 如果直接接SFP + 再接10G Fcoe Switch ,再轉光纖 FC SAN Stoage .就可存取 一般CNA 是SFP +口 而SFP +口 再配光電模組 就可變成 10GBASE-SR or 10GBASE-LR (10G 光纖標準) 如果都為光口 OCe10102 CNA 也等於傳統Fibre HBA LPe16000光纖卡 (驅動完全通用) ,可以直接接上老款FC Stoage Switch 或是 FC Target儲存設備 配上圖 這樣大家對FCOE 應該有更完整觀念 請大家把這觀念跟應用狀況弄清楚 ------------------------------------------------------------------------------- 那什麼是iscsi hba ? 簡單講 目前的intel or boardcom lan card 配上iscsi option boot rom 是IBF 並不是真正的 storage hba . 先掛載了software iscsi initiator 再 load IBFT(iSCSI Boot Firmware Table) 這種狀況如果想要在iscsi boot lun 亂裝 OS 相容性很差 比如說vmware vsphere 4 就不可以以此方式安裝在Lun, Vsphere 4i ,5i就可 因此有 iscsi hba 卡.. 像Qlogic QLA4050 ,QLE4060 iscsi hba iSCSI HBA 是一張透過以太網路跟 Storage 連線的 SCSI 卡 OS視為"這種長的網卡東西"為Storage HBA 目前CNA 主要由三大廠Qlogic ,Emulex , Brocade 我個人是建議前二家 最終目標是打造出 ISCSI + FC + NFS + CIFS 四種協定的萬用Stroage 以方便工作上使用 測試 http://blog.laspina.ca/ubiquitous/mu...visioning_with 參考 http://benjr.tw/taxonomy/term/74 http://www.ithome.com.tw/itadm/article.php?c=66226 http://www.ithome.com.tw/itadm/article.php?c=66226&s=2 共買了 3張卡+ 6 SFP+ 東西在飛機上 繼續連載 此篇文章於 2012-01-11 09:34 PM 被 thx 編輯。. |
回覆 |
主題工具 | |
|
類似的主題 | ||||
主題 | 主題作者 | 討論版 | 回覆 | 最後發表 |
【轉貼】美國300M/10G/PHP/MYSQL/VP/FTP/綁域名/0fees | gembo | ☉ -- 免 費 空 間 討 論 版 | 0 | 2008-06-05 10:07 AM |
1G/10G/PHP/MYSQL/CP/可綁國際域名/xerox-hosting.com | shulinge | ☉ -- 免 費 空 間 討 論 版 | 0 | 2005-06-08 02:51 PM |
iHostFree 250MB/10G BW PHP/IbizPanel控制台/自備域名 | Tsukasa | ☉ -- 免 費 空 間 討 論 版 | 0 | 2005-04-10 04:34 PM |
【求助】請推薦無線AP and 網卡 | alexronald | -- 無 線 網 路 版 | 2 | 2004-08-28 04:05 PM |
Netgear 網卡? | h0105 | -- 網 路 硬 體 版 | 4 | 2001-07-26 03:39 PM |
XML | RSS 2.0 | RSS |
本論壇所有文章僅代表留言者個人意見,並不代表本站之立場,討論區以「即時留言」方式運作,故無法完全監察所有即時留言,若您發現文章可能有異議,請 email :[email protected] 處理。