超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

因為在轉移舊 SAN 其實還沒完全架好 (搬動12 TB 中) ..先post 點資料 給大家參考

這為Local Raid 速度 已超過 FC 4G 頻寬
[img]http://www.osslab.org.tw/@api/deki/files/2086/=newraid.png[/img]

硬體設備 HP 原裝 5U Tower ML 150 G6
Xeon 5502 ,24GB DRAM , Dell H700+ NV-RAM Raid Card + SAS Expander +
10Gb infiniband 網卡 + Boarcom 2 1000M +1.5 TB Seagate 7200. 11 *11 顆 (以上都在機內 HDd可熱抽換) 總共預定16-24顆 我還有外接DAS

有4G FC CARD 但是 OSSLab 用不到這個.. (用10Gb infiniband 比較快)


10G 網路卡照片
[img]http://www.osslab.org.tw/@api/deki/files/2019/=10g.jpg[/img]

Dual 1G 網卡
[img]http://www.osslab.org.tw/@api/deki/files/2021/=Dual_1G.jpg[/img]

Infiniband 不太好搞定 有空我會把筆記公開..還在實驗如何用ESX Mount
[img]http://www.osslab.org.tw/@api/deki/files/2025/=ib3.png[/img]


從舊SAN 11TB 轉換狀況 (舊SAN Local DAS 有問題 只有100MB /sec 要不然我會用infiniband 拷...)

[img]http://www.osslab.org.tw/@api/deki/files/2087/=fastcopysanjpg.png[/img]

如果只論速度 慘電 市面上80萬的 FC SAN 應該是沒問題...

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

@D董：輸人不輸陣，輸陣歹看面…衝了啊！

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

:( 沒必要跟我硬拼吧? 那會很容易花到七位數
我這邊總共是一個 HP 原裝機架 42U .

上面有 4台 ML150 G6, +Dell 2950 III , DL 160 G5, DL 180 G5 (後面三台算快"退役"了)
(應該是全台灣最大私人IT實驗室... )

[IMG]http://www.osslab.com.tw/@api/deki/files/2088/=ESX.png[/IMG]

ESX 插滿48GB .

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

@芒董：輸人不輸陣，至少要看個熱鬧…衝了啊！

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

這台是我準備"退役"的 HP 2 U 12 bay SAN ,NAS (Xeon E5420 ,12GB DRAM 內建IP KVM ) 沒機架前 沒地方放
我放在瓦斯爐上..

HP原廠帶Storage 軟體 一台要50萬...
[IMG]http://www.osslab.org.tw/@api/deki/files/1065/=20085375121896.jpg[/IMG]

中間SAS Expander 效能調整問題 讓我吃足苦頭
[img]http://www.osslab.org.tw/@api/deki/files/1937/=expanderupdate.png[/img]

講實話 我不是Storage controller FAE
我遇到的問題 原廠開call到國外去 一樣無法處理
只好自己冒充..感謝OSSLab 其他同仁 硬幹了LSI UTIL 寫入NV-RAM參數

已經跟某原廠報名 以後他們幾千萬標案遇到效能有問題 可以幫他們tune stroage Firmware 跟控制器..XD

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

[QUOTE=misol;1102857]@芒董：輸人不輸陣，至少要看個熱鬧…衝了啊！[/QUOTE]

芒董也要衝了啊！:heart:

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

[QUOTE=thx;1102859]這台是我準備"退役"的 HP 2 U 12 bay SAN ,NAS (Xeon E5420 ,12GB DRAM 內建IP KVM ) 沒機架前 沒地方放
我放在瓦斯爐上..

HP原廠帶Storage 軟體 一台要50萬...
[/QUOTE]

順便可以幫 hp 「燒」機測試:fd:

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

15 TB 已裝滿了....

就會...
[IMG]http://www.osslab.org.tw/@api/deki/files/2089/=expand1.jpg[/IMG]

[IMG]http://www.osslab.org.tw/@api/deki/files/2090/=raid2.png[/IMG]

Raid Hot Expand 其實是會怕的.
記住 Hot Expand 沒有About 鍵 oh ..><

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

最近打算買EVA8400 22GB cache x2 or IBM DS5100 32GB cache x2，報價300萬up... :D

我不是看熱鬧，我是真的要買... :D

回覆: 超高速 超高容量的 NAS ,ISCSI ,SAN Server
 

[QUOTE=ivantw;1102875]最近打算買EVA8400 22GB cache x2 or IBM DS5100 32GB cache x2，報價300萬up... :D

我不是看熱鬧，我是真的要買... :D[/QUOTE]

你是要自費買來自用? XD 老實說 EVA 8400 跟IBM DS5100 是上代產品..
(控制器跟演算法) iops 普普通通...

如果對價格 效能有所要求 不會建議選購

Raid Hot Expand 演算法

三顆 DISK A B C 做 Raid 5
數字代表Block順序, P代表校驗塊

DISK A B C
P 1 2
3 P 4
5 6 P
P 7 8

準備增加一顆做線上擴容 會變成

DISK A B C D
P 1 2 3
4 P 5 6
7 8 P 9
10 11 12 P


如果失敗 除了第一列 Block 區 外 只用改寫 DISK A 跟新增硬碟DISK D 的block 外
後面每個block都要從寫

推算 這樣一顆硬碟會有二種不同raid 架構
假設做到第三列Block 失敗

DISK A B C D
P 1 2 3
4 P 5 6
本列失敗 5 6 P 9 (都不完整資料)
(以下都正常)P 7 8 無資料


第三列Block失敗 會不完整 全部不能用. 還好 5 ,6 數據塊前面有 ........

但要算出做到那個Block轉換與改寫 會花點工夫.
是有點理論推算,所以有空要要惡搞一次OCE 才知道理論分析是否正確
再用MFT表去推算 Block 塊失敗位置..


其實 我的機器拷15TB 6小時就可以打完收工..只是多做點實驗而已..XD

想到IBX 跟HX 都沒有解決我的問題 害我做組裝小弟 想到就FXXX