10G 網卡(infiniband 與光纖網卡)..

顯示結果從第 1 筆 到 7 筆,共計 7 筆
謝謝您1個謝謝

主題: 10G 網卡(infiniband 與光纖網卡)..

  1. #1
    thx
    thx 目前未上線
    版豬
    註冊日期
    2000-11-19
    所在地區
    100M
    討論區文章
    1,385

    10G 網卡(infiniband 與光纖網卡)..

    因為要做台灣第一的XX 所以OSSLAB 有幾台 Client 每天 I/O 需求不小

    每台Client I /O 有可能會到 70 MB/sec * 4~5 = 2xx MB /sec

    FC 8G 都很天價 本來打算換 4G FC Card
    再裝上FC NDIS driver .讓光纖成為乙太網路 FCOE 方式.

    沒想到 10G 價格低的不可思議


    10Gbe 有分10GBASE-CX4 跟10GBASE-T
    10GBase-T 通於之前 Rj-45 結構


    而10GBASE-CX4 是用 InfiniBand 10G
    比以往成熟很多 已經不是以往只能做 Cluster 節點運算用
    現對於儲存裝置support 更佳成熟ˋ更多協定支援
    相同於FC 來比 inifiniband 距離短是比較大缺點




    mellanox 的 MHEL-CF128-T ( pci-e 規格 InfiniBand InfiniHost III Ex 晶片 dual port 網卡 )

    是比教主流晶片 並且勤於更新firmware 與軟體 驅動


    Protocol Support
    * Open MPI, OSU MVAPICH, Intel MPI, MS MPI, and Platform MPI
    * TCP/UDP, EoIB, IPoIB, SDP, and RDS
    * SRP, iSER, NFS RDMA, FCoIB, and FCoE
    * uDAPL

    要能支持以上Protocol 需要Driver 上設定正確
    mellanox driver 有分三種模式

    - VPI mode (虛擬協議互連)
    (這張舊款沒有)

    - Ethernet only mode
    這應該跟NDIS driver 一樣
    (這張舊款也沒有 但是IB mode 有over ib)

    - IB only mode
    (InfiniBand 縮寫) 但是有IPoverIB 因此可用


    以上分類主要是在控制台內顯示 但實際上都有NDIS Driver 模式


    驅動下載
    http://www.mellanox.com/content/page...enu_section=34
    有for ESX

    OS 支持
    http://www.mellanox.com/content/page...=34#IB_Support

    東西在飛機上 有空慢慢補充


    此文章於 2010-12-13 05:43 PM 被 thx 編輯。

  2. #2
    會員
    註冊日期
    2003-08-25
    討論區文章
    1,120

    回覆: InfiniBand 10G 網卡..

    引用 作者:thx 瀏覽文章
    因為要做台灣第一的XX 所以OSSLAB 有幾台 Client 每天 I/O 需求不小

    每台Client I /O 有可能會到 70 MB/sec * 4~5 = 2xx MB /sec

    FC 8G 都很天價 本來打算換 4G FC Card
    再裝上FC NDIS driver .讓光纖成為乙太網路 FCOE 方式.

    沒想到 10G 網卡價格低的不可思議

    snipped....
    鵝幾年前survey過,某牌dual port 10GbE CX4只要US$1xx/pcs是很便宜,不過有CX4的switch可一點都不便宜了....
    不要,不要,我不要這種顏色的帽子....

  3. #3
    thx
    thx 目前未上線
    版豬
    註冊日期
    2000-11-19
    所在地區
    100M
    討論區文章
    1,385

    回覆: InfiniBand 10G 網卡..

    引用 作者:wangcm 瀏覽文章
    鵝幾年前survey過,某牌dual port 10GbE CX4只要US$1xx/pcs是很便宜,不過有CX4的switch可一點都不便宜了....

    其實還有 6G *4 = 24G SAS Protocol 可以選擇 高速I/O
    並且sas 8 port switch  拿nt 8k card +power 就可替代
    不過好像無法在sas phy上跑tcp /ip 若有高人指點感謝不盡


    我買的是pci-e 規格 InfiniHost III Ex 晶片 dual port 網卡(MHEL-CF128-T )帶線
    Server 打算放二張 就可接四台 10Gbe Client..
    如果換做買 FC ,FC 2 Gb PCI-E 都買不到

    Driver support是個很重要問題 先確定用啥 chip(infiniHost III Ex )
    買之前 一定要查清楚driver support.

    還有其他SAN file system等解決I/O方式
    此文章於 2010-12-14 10:16 AM 被 thx 編輯。

  4. #4
    thx
    thx 目前未上線
    版豬
    註冊日期
    2000-11-19
    所在地區
    100M
    討論區文章
    1,385

    回覆: InfiniBand 10G 網卡..

    小弟這篇文章沒有人做英文版筆記
    http://phorum.study-area.org/index.p...c,65064.0.html

    所以目前市場上Infiniband card pci-e 都可以很便宜買到

    這張卡I/O 應用





    把10G 網卡總整理一下 共有下面介質訊號

    光纖

    10GBASE-SR
    10GBASE-LR
    10GBASE-LRM
    10GBASE-ER
    10GBASE-ZR
    10GBASE-LX4
    連接頭也有所不同



    10GBASE-CX4
    10GBASE-KX4
    10GBASE-KR
    10GBASE-T

    10GBast-T 乙太網路 佈線麻煩 價格高 性能最差 (latency time最長)
    除了相容於 舊的乙太網路外
    在10G PHY 規格中是最差的

    但在正常 高速I/O 規劃 打死我也不把1G 放入10G Lan內. 怕被拖到速度..
    所以我跟本不考慮 10GBASE-T網路卡

    一般我會建議用10G 光通道網路卡

    10GBASE-SR ("short range") uses the IEEE 802.3 Clause 49 64B/66B Physical Coding Sublayer (PCS)
    波長850 nm 多模 標準om1 線 最大為80M , om3 線為300M

    10GBASE-LR ("long reach") uses the IEEE 802.3 Clause 49 64B/66B Physical Coding Sublayer (PCS)
    波長 1310 nm 單模 可傳送10 公里,不過常常可以到2x公里..

    以下為廠商介紹
    一般來講 10G網卡 都為CNA (converged network adapter)
    除了TCP/IP ,RDMA ,ISCSI , FCOE 還都有 Open Fabrics用於叢集電腦運算.

    1.Mellanox
    上面講很多了
    Infiniband 技術為主
    infiniband 支持GPU Direct 是最特別地方..

    2.Qlogic
    光通道技術為主, 也有infiniband ,跟一般網卡.不過當然最拿手技術為光通道
    這邊當然要講最高級 CNA QLogic 8200 Series
    http://www.qlogic.com/Products/adapt...kAdapters.aspx

    3.Emulex
    光通道技術為主 oneconnect系列
    http://www.emulex.com/products/oneconnect-ucnas.html

    4. chelsio 光通道技術為主
    http://www.chelsio.com
    support OS X

    5.Intel
    除了10GBASE-T一般10G 網卡
    也有SFP+樣式 可轉光


    6.Boradcom
    10GBASE-T 為主

    要注意的是 不是每張卡會有 SR-IOV

    http://benjr.tw/node/698
    PCI-SIG 的 Single Root I/O Virtualization (SR-IOV) 的技術. 透過 SR-IOV 這一項技術更進一步提升 VT-d 的功能.他可以同時讓多個 VM 虛擬機與實體 I/O 裝置同時建立通道(communication channels).

    我會建議搭配卡 10Gbase -SR ,搭配現在給一般FC HBA光纖 線通用 ,LC頭.線就可 ..很便宜 20 M 我在深圳買nt 1xx.
    因為一般舊 FC HBA 也都是配多模 波長850 nm發射器

    一般高速卡是用做成SFP +型式, 要注意價格含不含光電模組... 如果購買就選用 10GBASE-SR LC頭 是比較通用選擇

    10G switch 一般都是SFP . SFP也可轉光或電

    http://www.facebook.com/event.php?eid=181003555286914

    我是買不起下面
    一台 24 port 10G switch + 2 張 10G CNA 光纖卡 + 4 SFP .嗯 特價要50萬。.... :P
    http://www.facebook.com/event.php?eid=181003555286914
    所以寫這一串筆記.....

  5. #5
    會員
    註冊日期
    2002-02-12
    所在地區
    ..
    討論區文章
    225

    回覆: InfiniBand 10G 網卡..

    家裡的電腦裝這種硬體應該沒有用武之地 ...
    真的這麼快的速度. 上網就不能殺時間了 ...


    劃根火柴...在你看不見自己的時候...
    點支香煙...看它能支持多久的寂寞...
    http://redeyeberg.blogspot.com/

  6. #6
    thx
    thx 目前未上線
    版豬
    註冊日期
    2000-11-19
    所在地區
    100M
    討論區文章
    1,385

    回覆: InfiniBand 10G 網卡..

    IB 用了快10個月了 遇到一些問題
    一.MTU 太小 隨機I/O 很爛

    二 前陣子才剛上線ESX 5

    但發現Mellanox ConnectX (InfiniBand/VPI Cards )
    ESX 5下驅動還沒出
    http://communities.vmware.com/message/1838767#1838767

    改用Mellanox ConnectX EN 可支持ESX 但是 這樣就少了
    OpenFabrics Enterprise Distribution (OFED)驅動 而且夭壽貴


    三. (InfiniBand/VPI Cards ) 本身不是真正底層Storage card
    boot lun 應用有不少問題 (這部份文後有詳細討論)

    因此 OSSLab 一直想更換張真正 高性能的 10G (網路卡+Storage HBA 混合卡)
    但是這張卡正常報價在NT 6萬跑不掉
    買個三張 =18萬

    後來找到

    會這樣便宜是因為廠商不知道oem 料號跟原廠料號批配性 所以隨便賣了

    這張同於 Emulex OneConnect OCe10102 CNA
    只是不帶SFP + 光電轉換頭了
    這頭很貴 先拿SFP+線 短距 對接

    萬兆SFP 對接線
    http://item.taobao.com/item.htm?id=14320236857
    http://item.taobao.com/item.htm?id=10876591099


    CNA 是converged network adapter縮寫
    共有下面功能 四合一

    OneConnect 10GbE Network Adapters
    OneConnect 10GbE FCoE Converged Network Adapters
    OneConnect 10GbE iSCSI Adapters
    這張卡同於Emulex 16G FC 光纖卡 驅動可共用

    驅動支持度還不錯
    http://www.emulex.com/downloads/emulex.html

    先來看圖 說清楚FCOE 應用狀況
    網路上可以查到一堆
    FCoE是規範將光纖通道(Fibre Channel)訊框直接映射為乙太網路訊框後,在底層為乙太網路上傳輸資料的協定。

    這樣講太理論 請先看圖


    FCOE協議最大功用是能讓傳統網路卡去存取舊有的FC Target Storage.
    或是說讓fc 跟tcp/ip 硬體共用

    比如說你想要讓你的一般10G 網路卡存取FC SAN storage Lun 硬碟.

    一般卡 沒有FCOE 硬體運算協定轉換 (Intel 10G ,Broadcom 10G 網卡都沒 只有補助運算) ,
    先要搭配 open-FCoE 或其自家 software fcoe initiator
    可以讓系統產生 FC Frame 然後讓 NIC 將此FC Frame 封裝在傳統的 Enternet Frame
    前端可以為一般網路通道 (傳統 乙太 Switch ,網路線) ,後面為再透過Fcoe Switch 轉光纖.
    再接上FC SAN 就可以Mount 存取 FC SAN 的Lun.
    .
    但是透過openfcoe跟設定 是比較麻煩

    再者,如果要做fcoe lun boot的話,軟體協議的卡.用software fcoe initiator
    無法視為本地硬碟....

    Fcoe 硬體卡  就內建協定訊框轉換 如果直接接SFP + 再接10G Fcoe Switch ,再轉光纖 FC SAN Stoage .就可存取

    一般CNA 是SFP +口 而SFP +口 再配光電模組
    就可變成 10GBASE-SR or 10GBASE-LR (10G 光纖標準)

    如果都為光口 OCe10102 CNA 也等於傳統Fibre HBA LPe16000光纖卡 (驅動完全通用) ,可以直接接上老款FC Stoage Switch 或是 FC Target儲存設備


    配上圖 這樣大家對FCOE 應該有更完整觀念 請大家把這觀念跟應用狀況弄清楚

    -------------------------------------------------------------------------------
    那什麼是iscsi hba ?
    簡單講 目前的intel or boardcom lan card 配上iscsi option boot rom 是IBF
    並不是真正的 storage hba .


    先掛載了software iscsi initiator 再 load IBFT(iSCSI Boot Firmware Table)

    這種狀況如果想要在iscsi boot lun 亂裝 OS 相容性很差
    比如說vmware vsphere 4 就不可以以此方式安裝在Lun, Vsphere 4i ,5i就可

    因此有 iscsi hba 卡..
    像Qlogic QLA4050 ,QLE4060 iscsi hba
    iSCSI HBA 是一張透過以太網路跟 Storage 連線的 SCSI 卡
    OS視為"這種長的網卡東西"為Storage HBA  

    目前CNA 主要由三大廠Qlogic ,Emulex , Brocade 我個人是建議前二家

    最終目標是打造出 ISCSI + FC + NFS + CIFS 四種協定的萬用Stroage 以方便工作上使用 測試

    http://blog.laspina.ca/ubiquitous/mu...visioning_with

    參考
    http://benjr.tw/taxonomy/term/74
    http://www.ithome.com.tw/itadm/article.php?c=66226
    http://www.ithome.com.tw/itadm/article.php?c=66226&s=2

    共買了 3張卡+ 6 SFP+ 東西在飛機上
    繼續連載
    此文章於 2012-01-11 09:34 PM 被 thx 編輯。
    ky25 謝謝這篇文章

  7. #7
    會員
    註冊日期
    2006-10-02
    討論區文章
    29

    回覆: 10G 網卡(infiniband 與光纖網卡)..

    哇!! 能去拜師學藝嗎?
    此文章於 2013-03-02 03:04 PM 被 ky25 編輯。

類似的主題

  1. 請問 TBC cable 光纖網路!
    作者:joeing 所在討論版:-- Cable Modem 心 得 交 流 版
    回覆: 7
    最後發表: 2011-04-23, 03:15 PM
  2. 【新聞】Cable業者反撲!100Mbps 要與光纖網路較勁
    作者:石之軒 所在討論版:-- Cable Modem 心 得 交 流 版
    回覆: 56
    最後發表: 2009-01-24, 02:41 AM
  3. 【問題】申請光纖網路
    作者:_andy_chen_ 所在討論版:-- FTTB / FTTC / FTTH 光纖寬頻討論版
    回覆: 0
    最後發表: 2009-01-11, 08:17 PM
  4. 【閒聊】FTTB 2M 銅纜與光纖路由有不同嗎??
    作者:pony3295 所在討論版:-- FTTB / FTTC / FTTH 光纖寬頻討論版
    回覆: 1
    最後發表: 2005-04-13, 08:03 PM
  5. 寬頻未來 要看乙太網路、無線與光纖
    作者:ww5031 所在討論版:-- FTTB / FTTC / FTTH 光纖寬頻討論版
    回覆: 0
    最後發表: 2002-03-25, 01:50 AM

 

modem ndis 和 rds的差别

sfp plus 10g

10g switch 網路卡

發表文章規則

  • 不可以發表新主題
  • 不可以回覆文章
  • 不可以上傳附加檔案
  • 不可以編輯自己的文章
  •