超高速 超高容量的 NAS ,ISCSI ,SAN Server

[thx]

因為在轉移舊 SAN 其實還沒完全架好 (搬動12 TB 中) ..先post 點資料 給大家參考

這為Local Raid 速度 已超過 FC 4G 頻寬


硬體設備 HP 原裝 5U Tower ML 150 G6
Xeon 5502 ,24GB DRAM , Dell H700+ NV-RAM Raid Card + SAS Expander +
10Gb infiniband 網卡 + Boarcom 2 1000M +1.5 TB Seagate 7200. 11 *11 顆 (以上都在機內 HDd可熱抽換) 總共預定16-24顆 我還有外接DAS

有4G FC CARD 但是 OSSLab 用不到這個.. (用10Gb infiniband 比較快)


10G 網路卡照片


Dual 1G 網卡


Infiniband 不太好搞定 有空我會把筆記公開..還在實驗如何用ESX Mount



從舊SAN 11TB 轉換狀況 (舊SAN Local DAS 有問題 只有100MB /sec 要不然我會用infiniband 拷...)



如果只論速度 慘電 市面上80萬的 FC SAN 應該是沒問題...

[lenbo]

@D董：輸人不輸陣，輸陣歹看面…衝了啊！

[thx]

沒必要跟我硬拼吧? 那會很容易花到七位數
我這邊總共是一個 HP 原裝機架 42U .

上面有 4台 ML150 G6, +Dell 2950 III , DL 160 G5, DL 180 G5 (後面三台算快"退役"了)
(應該是全台灣最大私人IT實驗室... )



ESX 插滿48GB .

[misol]

@芒董：輸人不輸陣，至少要看個熱鬧…衝了啊！

[thx]

這台是我準備"退役"的 HP 2 U 12 bay SAN ,NAS (Xeon E5420 ,12GB DRAM 內建IP KVM ) 沒機架前 沒地方放
我放在瓦斯爐上..

HP原廠帶Storage 軟體 一台要50萬...


中間SAS Expander 效能調整問題 讓我吃足苦頭


講實話 我不是Storage controller FAE
我遇到的問題 原廠開call到國外去 一樣無法處理
只好自己冒充..感謝OSSLab 其他同仁 硬幹了LSI UTIL 寫入NV-RAM參數

已經跟某原廠報名 以後他們幾千萬標案遇到效能有問題 可以幫他們tune stroage Firmware 跟控制器..XD

[lenbo]

作者: misol

@芒董：輸人不輸陣，至少要看個熱鬧…衝了啊！

芒董也要衝了啊！

[lenbo]

作者: thx

這台是我準備"退役"的 HP 2 U 12 bay SAN ,NAS (Xeon E5420 ,12GB DRAM 內建IP KVM ) 沒機架前 沒地方放
我放在瓦斯爐上..

HP原廠帶Storage 軟體 一台要50萬...

順便可以幫 hp 「燒」機測試

[thx]

15 TB 已裝滿了....

就會...




Raid Hot Expand 其實是會怕的.
記住 Hot Expand 沒有About 鍵 oh ..><

[ivantw]

最近打算買EVA8400 22GB cache x2 or IBM DS5100 32GB cache x2，報價300萬up...

我不是看熱鬧，我是真的要買...

[thx]

作者: ivantw

最近打算買EVA8400 22GB cache x2 or IBM DS5100 32GB cache x2，報價300萬up...

我不是看熱鬧，我是真的要買...

你是要自費買來自用? XD 老實說 EVA 8400 跟IBM DS5100 是上代產品..
(控制器跟演算法) iops 普普通通...

如果對價格 效能有所要求 不會建議選購

Raid Hot Expand 演算法

三顆 DISK A B C 做 Raid 5
數字代表Block順序, P代表校驗塊

DISK A B C
P 1 2
3 P 4
5 6 P
P 7 8

準備增加一顆做線上擴容 會變成

DISK A B C D
P 1 2 3
4 P 5 6
7 8 P 9
10 11 12 P


如果失敗 除了第一列 Block 區 外 只用改寫 DISK A 跟新增硬碟DISK D 的block 外
後面每個block都要從寫

推算 這樣一顆硬碟會有二種不同raid 架構
假設做到第三列Block 失敗

DISK A B C D
P 1 2 3
4 P 5 6
本列失敗 5 6 P 9 (都不完整資料)
(以下都正常)P 7 8 無資料


第三列Block失敗 會不完整 全部不能用. 還好 5 ,6 數據塊前面有 ........

但要算出做到那個Block轉換與改寫 會花點工夫.
是有點理論推算,所以有空要要惡搞一次OCE 才知道理論分析是否正確
再用MFT表去推算 Block 塊失敗位置..


其實 我的機器拷15TB 6小時就可以打完收工..只是多做點實驗而已..XD

想到IBX 跟HX 都沒有解決我的問題 害我做組裝小弟 想到就FXXX