看完後有驚訝到……請問……後面那台「麻啊台」是做什麼用的？ :D

贊助商連結

真好奇thx兄的實驗室一個月電費多少錢?

芭樂台是收藏

跟下面相比之下電費不是重點..

HP rack NT 80000元
http://h10010.www1.hp.com/wwpc/hk/zh/sm/WF06b/3447589-3447589-3446288-3446293-3446293-1155226-3360117.html

HP ML150 G6 * 4 (全部都有購買內建IP KVM) +
HP DL180 G5 12 bay.(好吧 我承認 我要休掉這台) + DRAM ..48 +24 +24 + 12 =108 GB + HDD 1.5 TB * 30 + H700* 2 +infiniband 10G * 4 , + dual 1000M * 4 + PCI FC 24 port 網管 switch +GTX 570 解密卡+滅火器 (頂樓公寓加蓋...)

跟HP買的話大概要 1xx "塊"跑不掉...

好像市面上沒有啥 Infiniband 相關中文筆記 一般來講infiniband 用於Cluster 運算環境比較多
但是用於虛擬化或一般相關應用少, 因此市場有賤賣這類介面卡.實際上此為價格性能比超高的物理性連結設備
不過 Infiniband hub 還是很貴的價格

以下以mellanox 的 MHEL-CF128-T ( pci-e 規格 InfiniBand InfiniHost III Ex 晶片 dual port 10G 網卡 ) 為例

Mellanox原廠說明書有下面幾本.
Windows :驅動與subnet manger 啟動方法
http://www.mellanox.com/related-docs/prod_software/MLNX_VPI_Windows_user_manual.pdf

Linux 主要為ofed組織 opensources driver
http://www.mellanox.com/related-docs/prod_software/Mellanox_OFED%20_Linux_user_manual_1_5_2-2_1_0.pdf

Esx 驅動主要也為OFED Driver
http://www.mellanox.com/related-docs/prod_software/IB_OFED_for_VI_3_5_and%20vSphere_4_installation_guide_1_30.pdf

infiniband gpxe boot
http://www.mellanox.com/related-docs/prod_software/FlexBoot_user_manual.pdf

正確啟動Inifniband 網卡
1.抓驅動與安裝 2.抓燒錄程式與安裝 3 .抓firmware 4.修改Driver 5.啟動Subnet Manger

驅動下載
http://www.mellanox.com/content/pages.php?pg=software_overview_ib&menu_section=34

舊款卡只有Mellanox OFED for Windows (WinOF)
安裝好後可能會出現

http://www.osslab.com.tw/@api/deki/files/2023/=ib1.png

為何infiniband HBA 無法啟動 通常為市面上買到 全新未拆卡應該為 沒有任何FW. 要自己燒錄
可用fw 工具看到
Current FW version on flash: N/A
先下 MST start
MST status 可看到
MST devices:
------------
mt25208_pciconf0
mt25208_pci_cr0


下載Firmware
http://www.mellanox.com/content/pages.php?pg=custom_firmware_table

以型號可以看出控制器晶片 同款控制晶片當然用相容FW

FW有分穩定版跟Beta版
燒錄firmware 有不同程式
可參考

舊版用 flint 就可C:\Program Files\Mellanox\WinMFT>>flint -d mt25208_pci_cr0 -i CF128.bin -nofs burn


Beta版要用mlxburn 請把ini 跟mlx fw 放在目錄下
mlxburn -fw ./fw-25208-rel.mlx -d mt25208_pci_cr0 -skip_is

要額外燒boot rom
mlxburn -dev mt25208_pci_cr0 -fw fw-25208-rel.mlx -conf MHEL-CF128-T.ini -exp_rom IHOST3EX_PORT2_ROM-1.0.0.rom -skip_is

(port1 跟port2 有何不同..還不知道)

安裝好 重新開機會出現 多二張網路卡 線已裝好 燈號也亮 但是顯示斷線

http://www.osslab.com.tw/@api/deki/files/2025/=ib3.png


一般"正常狀況下"
infniband 應用狀況 都會有硬體 infniband switch ,但一台 8 port nt 4萬以上
二臺直接對接用一般CX4 Cable 燈號有亮
但是都是顯示offline

IB 架構要有Subnet Manger 才能正常工作
而硬體switch 會內建此功能 因此需要再啟動

在windows 下敲 sc start opensm
設定infiniband 網卡IP .就可通了
http://www.osslab.com.tw/@api/deki/files/2197/=10glan2.png

10G 網卡好處是..NAS OR SAN (Server端)+ Client 端本身I/O 有多高, 速度就都跟的上.

A 機為 12 PCS 1.5TB , B 機為有11個 空Bay (方便做Data recovery跟拷出客戶資料用)

A機與B機用 10G Lan對連`同時二顆HDD 用CIFS 都可全速...(應該可以同時5顆 全速...)

http://www.osslab.com.tw/@api/deki/files/2159/=P1120402.JPG?size=webview
http://www.osslab.com.tw/@api/deki/files/2196/=2_HDD.png


未完
1.infiniband 在 vsphere 下安裝驅動 並且Mount Datacore
2.與Starwind ,Data core ,software ISCSI target software搭配 ,boot

二端都為 ram disk 網芳狀況

http://www.osslab.com.tw/@api/deki/files/2237/=10gcifs.png

http://www.osslab.com.tw/@api/deki/files/2238/=fastcopy10g.png

用 NetIO 程式去打的 測試
http://www.ars.de/ars/ars.nsf/docs/netio

TCP connection established.
Packet size 1k bytes: 147.47 MByte/s Tx, 60.39 MByte/s Rx.
Packet size 2k bytes: 210.65 MByte/s Tx, 97.32 MByte/s Rx.
Packet size 4k bytes: 231.89 MByte/s Tx, 134.88 MByte/s Rx.
Packet size 8k bytes: 265.27 MByte/s Tx, 200.61 MByte/s Rx.
Packet size 16k bytes: 285.12 MByte/s Tx, 254.70 MByte/s Rx.
Packet size 32k bytes: 302.19 MByte/s Tx, 287.35 MByte/s Rx.

我覺得高速file level 應用會增加.
Tuning ..還要想一下. (換成nfs 會好很多)

前陣子被某公司搞 . org.tw 被搞掉了,　上面缺圖請自改成.com.tw

http://www.osslab.com.tw/@api/deki/files/2378/=P1120421.JPG

http://www.osslab.com.tw/@api/deki/files/2364/=P1120350_NOTE.jpg

http://www.osslab.com.tw/@api/deki/files/2195/=P1120348.JPG

http://www.osslab.com.tw/@api/deki/files/2237/=10gcifs.png

http://211.72.203.62/@api/deki/files/2086/=newraid.png

http://www.osslab.com.tw/@api/deki/files/2400/=2011STATION.jpg


12 * 1.5TB raid 5 Local I/O Stripe size =256KB
http://www.yoyule.com/service/sfile/pics/2012/01/23/e2/%7BF8B7E470-B910-476a-A8DB-D87547E3900D%7D.jpg

http://www.yoyule.com/service/sfile/pics/2012/01/23/05/%7B1DB4A701-18B4-4911-9B73-DF10DFC0805E%7D.jpg

http://www.yoyule.com/service/sfile/pics/2012/01/23/73/%7B3F1EF134-9EC6-42eb-B2A0-5FFEBDE04FC1%7D.jpg



前前後後處理這些硬體跟軟體耗近一年時間 ,因為機器都有在上線拼命做工 因此沒有時間公開詳細資料
簡單把一些重點經驗整理一下

1. 硬體上每個環節都不放過 CPU , DRAM ,匯流排 ,Disk i/o, 控制卡, hdd
HP ML150 G6 是非常適合做變態儲存用Server (多pci-e +可放多顆硬碟)+IP KVM　不貴.

2 .H700 Raid Card +SAS Expander 相容性問題很大. 或是I/O 很糟
這部份你把Dell FAE call 死也沒用. 找原廠也不會有用 我們是用非常規解決
我想要看到其他人解決　應該有點難度的..

要不然就多花2~3萬買正規 LSI SAS 9201-16i .不過數量會比 H700+ SAS expander 少 4 PCS

3.電源穩定性很重要 ,建議用用光華訂線.中國轉線很不穩 要同顆Power 否則會有電位差問題

4.台廠熱抽換BAY燈號有問題

5.10G 網卡必備


6.http://support.dell.com/support/edocs/network/P29352/English/teaming.htm

以Broadcom　來講 NIC Teaming 有三種技術

1.802.3AD

2.Broadcom SLB :Smart Load Balancing™ and Failover

3.Generic Trunking (FEC/GEC)/802.3ad-Draft Static(這少用)


802.3AD 最常用　但是需要特定昂貴 802.3AD Switch... 實在有點.......
Broadcom SLB算是Driver based .缺點是 如果該OS 沒有相關Driver 也無法設定

這邊來講主要是讓一般 1000M應用基本上順暢...
不過我建議是　花點錢 買大廠多 bay Storage Server 但不用配原裝硬碟, 現在Local 硬碟隨便拿家用硬碟*8 都有 800 MB/sec

所以請盡量買10G網卡　不要去浪費那個時間 去tune 1G trunk
錢很多想要用FC 8G　也可.　



6.差不多測爛所有Storage Software ,最滿意 Starwind
OSSLab 三大工作內容 都靠它完成 : Data recovery, digital forensic, Cluster Storage Lab
這方面評估是 : 價格, 易用性 ,效能性,功能性.

但是open-e, 跟某些商用軟體還是可考慮

7.安全起見如果沒有backup server 請作二組Array . 做重要文件互相備份

市場未來的走向

1. 現行Storage 軟硬體價格與功能面必需有優勢.否則Starwind 免費版 性能跟功能已非常好用..
差價又是5萬~1x 萬 又不是差幾千....

2. 硬體Storage Server 官方IBM 與Dell 準備提供官方 SAS Cluster Soultion 會對原有FC Cluster Storage 會有衝擊

3.Hybrid Storage Server是主流　但是請做到便宜大碗

3.10G 網卡必備 ,1G Lan 真的不夠用,非Linux 系 Storage software 如何支持 特殊10G 網卡 並要說清楚HCL

4.由於10G 網卡關係 ,FC Target Server 這功能重要性降低.因為10G 網卡可同時做file level 跟raw level 共存取, FC Storage HBA 無法做file level存取 雖然新款 FC 都是CNA 也可做NIS ,too


5.公司中主力Storage 我想要這樣拼起來 恐怕有些人會怕怕 ,但是如果做為 虛擬化+Storage 實驗性Server .合一是非常方便.
Local DAS 轉化成 ISCIS target Lun, 還有NFS, CIFS 分享,其他 的CPU Resources 跑VM .
EMC VNX5300 也是同樣硬體設計架構但是價格大概是自己搞10倍....

6.Storage Server 最近還要修改PXE image Boot後再啟用 iscsi Lun ...
http://etherboot.org/wiki/pxechaining

繼續實作跟修改 :P 我真的不想自己搞.....XXXX

ML150 G6 Xeon E5504 ,24GB ,H700 NV +SAS Expader + 12 PCS 1.5TB + 10G infiniband

Storage Server 上線到今也一年多了...在我們維護之下 工作都很正常.數據也沒問題...

有感於 16.5 TB 實在不夠用.... :|||:

因此需要擴增
但擴充前需要保留原資料..我們是怎樣做搬動的?
如果以一顆顆3TB 裝入原有 12 Slot Server內...
rebuild 一顆1.5TB 大概要花上1.5天.... =18 天...這時間上不可能..

因此我們先架好 另外一台 B號機
(HP ML150 G6 Xeon 5502 ,24GB DRAM + H700 + 6 PCS 3TB raid 5 + Infiniband 10G )
3TB 去買外接USB　拆的
https://lh5.googleusercontent.com/-2Udo4X5uk3U/TxagJwlzc5I/AAAAAAAACTU/i2xTuMJy1Ik/w281-h500-k/P1020888%2B%2528Medium%2529.jpg

裡面是 ST3000DM001 是最新seagate 單碟1TB 機種..
http://www.anandtech.com/show/5042/seagates-new-barracuda-3tb-st3000dm001-review

單顆i/o
http://www.yoyule.com/service/sfile/pics/2012/01/21/4f/%7BDA2693F4-4571-4e59-A5C9-473F08EAC53E%7D.jpg


http://i.imgur.com/sxgQUh.jpg
http://i.imgur.com/UUxhGh.jpg
http://i.imgur.com/Rdsduh.jpg
http://i.imgur.com/f6wVHh.jpg

B號機 H700+3TB * 6 raid 5
建議FW
http://www.lsi.com/Pages/user/eula.aspx?file=http%3a%2f%2fwww.lsi.com%2fdownloads%2fPublic%2fMegaRAID%2520Common%2520Files%2f12.12.0-0048_SAS_2108_FW_Image_APP-2.120.63-1242.zip&Source=http%3a%2f%2fwww.lsi.com%2fsearch%2fPages%2fdownloads.aspx%3fk%3d%252A%26r%3dproductfamily%253D%2522ARABUkFJRCBDb250cm9sbGVycw1wcm9kdWN0ZmFtaWx5AQJeIgIiJA%253D%253D%2522%2520assettype%253D%2522AQhGaXJtd2FyZQlhc3NldH


Io plolicy :cache i/o ,Access policy: read and write, disk plocy :Enable

分別為
Strips size =256KB
http://www.yoyule.com/service/sfile/pics/2012/01/21/72/%7BF7BD42A9-20F6-4420-A0CE-20EDBB325328%7D.jpg


Stripe size= 512 KB 資料如下

http://www.yoyule.com/service/sfile/pics/2012/01/22/ff/%7B83D897FC-09F5-4212-8354-5284A3754085%7D.jpg

http://www.yoyule.com/service/sfile/pics/2012/01/21/db/%7B01A937BD-5700-441d-B202-2791C3DD317B%7D.jpg

http://www.yoyule.com/service/sfile/pics/2012/01/21/cf/%7BE7721C0B-A1C3-42f9-8719-979EF44774FD%7D.jpg

http://www.yoyule.com/service/sfile/pics/2012/01/21/6c/%7BCAD9EB2D-281A-4d71-AB70-B28EBF3257D8%7D.png

http://www.yoyule.com/service/sfile/pics/2012/01/21/79/%7B5FC8BA35-F634-46be-B1A9-27ECAB3029DA%7D.png

這個會跑上SATA 2協定 是令我們最不滿意地方..　需要再跟LSI FAE 做溝通 ..
http://www.yoyule.com/service/sfile/pics/2012/01/23/c7/%7B1F595CFA-6A60-4534-B8D6-693086DB36F0%7D.jpg

弄好後再用10G網路對拷約 12TB 資料...效果如下

http://www.yoyule.com/service/sfile/pics/2012/01/21/f5/%7B82728EA8-C08E-4793-AE90-67CD46E39A41%7D.jpg

大概10小時不到 10TB 資料都幹光光了....

接下來預定再把B機上的 3TB 裝回原Storage Server上...

順便升級
1. 因為 Infiniband 10g網卡在VMware Vsphere 5 下無法使用.
要更換更高性能 CNA 多功能卡
http://www.pczone.com.tw/thread/16/152404/

2.更換高性能CPU

3. 原來3TB 高性能硬碟 +6 =12 pcs 3TB raid 5 =33TB
另外留 8 pcs 擴充性可到 51TB

4.有同事在叫 SGPIO或 I2C 沒做 希望能搞定....


5.此硬碟ST3000DM001 跟lsisas2108 有些相容小問題 該開ticket反應

原本Server
從 ML150 G6 24GB DRAM Xeon 5504 ,H700 NV + 1.5TB *12 PCS + Broadcom 2 port 1G + 10G Infniniband +SAS Expander

升級 ML150 G6 24GB DRAM Xeon X5560 ,H700 NV +3TB *12 PCS +
Broadcom 2 port 1G + 10G CNA +SAS Expander

共提供1G ,10G CIFS ,NFS ,ISCSI Hybrid Strorage Server 服務
(FCOE or FC Target 服務需要非windows類OS )
繼續惡搞...