超高速 超高容量的 NAS ,ISCSI ,SAN Server

[ivantw]

一台要台幣300萬以上的FC SAN當然是不可能自費購買啦～
企業的考量不會是要求最快，但要確認是夠穩定的產品。

這EVA8400是最近一個案子要用的，用途是DB，系統特性：小封包、存取頻繁（滿載時每秒查詢300~400次，寫入150~266次）、低延遲（低於0.1秒）。

看了EVA8400覺得還OK啦～ XD
如果有更值得推薦的產品，麻煩推薦一下～:P

[ivantw]

除了FC SAN外，我這裡也買了幾台DELL MD1200（2+2+5），搭配DELL R710 @X5670x2, 4GBx6, H800 512M cache，在我的惡搞調校下，目前每組可以榨出4Gb/sec的效能不成問題（23Channels IGMP）。

[thx]

請教I大（2+2+5）是那種設定
你用H800跟MD1200 的話 是用SAS HDD吧?
我是用NT 2300的 1.5TB SATA HDD 11顆Raid 5
到達read and write 都700MB /sec

MD1200 缺點是
1. 不支持 SATA (除非你再買15個SATA to SAS 背版..>< )
2. 超過 15bay SAS Expander 串櫃後效能會變慢
單Raid Card to SAS expander 再串28顆. 大概會快MD1200 30%

3.MD1200 價格可以買我 5U HP ML150 G6二台. 還少了 CPU 主機版 ,IP KVM OOXXX 等.....也轉不了FC ,Infiniband ,ISCSI ..

我對現成弄好的商業產品 只是做幾次演算法分析 沒這樣熟 實施操作
以技術先進度 我欣賞3PAR ,Sun

我偏愛 Opensources 分散儲存架構

Lustre
http://wiki.lustre.org/index.php/Main_Page

ZFS 其實已進步到有商業性的演算法 Deduplication 還有很多CDP 處理方式..

所有的Storage 架構 都只不過x86 Sever +軟體.
只是每家 Algorithms +FS 經驗 +GUI +硬體整合度　有沒有那樣神又是一回事了

[ivantw]

2+2+5指的是合計九台分三次購入的數量，但規格都一樣，皆是SAS2 6Gb 15K 600GB x12。
每組皆是R710(GbE x8) x1 + MD1200 x1

會這樣買是因為需求非常明確，只有DAS產品適合；我曾評估過其他競爭對手的規劃，原則上只花了33%~50%的金錢，卻能達到相近效益。

若只是跑跑分軟體，會超過1400MB/sec，但我的數據是實測數據，大約同時存取20個3.6G~70G的大檔，所以沒那麼漂亮，但MD1200可以持續高峰輸出480MB/sec，整台主機可以維持輸出8Gb/sec，改善後的效能是前任規劃者的八倍以上，但錢並沒有花到八倍，並且有達到先前評估者沒做的容錯與備援，我很滿意了。

我沒測過MD1200接SATA在相同的條件下，可以跑出什麼數據。不過根據先前我在其他主機上作的測試，恐怕打的折扣只會遠高於SAS HDD。

先前在做評估時，也常逛OSSLab做些參考，其實我還蠻喜歡像你這樣能夠花大錢做這些測試；我的工作環境雖然也常在測這些五四三的，但我的選擇有限，必須對公司使用單位負責，而且上線時間有時很緊湊，沒有太多時間再作穩定度/可靠度驗證，所以只能就現有產品中挑選夠qualify的產品。

作者: thx

請教I大（2+2+5）是那種設定
你用H800跟MD1200 的話 是用SAS HDD吧?
我是用NT 2300的 1.5TB SATA HDD 11顆Raid 5
到達read and write 都700MB /sec

MD1200 缺點是
1. 不支持 SATA (除非你再買15個SATA to SAS 背版..>< )
2. 超過 15bay SAS Expander 串櫃後效能會變慢
單Raid Card to SAS expander 再串28顆. 大概會快MD1200 30%

3.MD1200 價格可以買我 5U HP ML150 G6二台. 還少了 CPU 主機版 ,IP KVM OOXXX 等.....也轉不了FC ,Infiniband ,ISCSI ..

我對現成弄好的商業產品 只是做幾次演算法分析 沒這樣熟 實施操作
以技術先進度 我欣賞3PAR ,Sun

我偏愛 Opensources 分散儲存架構

Lustre
http://wiki.lustre.org/index.php/Main_Page

ZFS 其實已進步到有商業性的演算法 Deduplication 還有很多CDP 處理方式..

所有的Storage 架構 都只不過x86 Sever +軟體.
只是每家 Algorithms +FS 經驗 +GUI +硬體整合度　有沒有那樣神又是一回事了

[thx]

一開始這些工具只是自己買來純研究(娛樂) 的玩具
後來變成OSSLab 幫各大廠 ,SI ,晶圓廠 網友 佛心打零工的工具
越快IO 我們越快交差了事 並且可以做更多的研究...(哀.做不完中..)

其實如果你只要純DAS +Server 的話...

HP DL180 G6 12 Bay 跟我上圖一樣設備 或是 Dell R510 12 Bay 性價比都不錯


http://www.techrepublic.com/blog/dat.../2553%3Fpg%3D2

只不過又回歸台灣可憐的市場問題..
這些東西真正價格都比 MD1200 台灣價格 還要便宜..還帶cpu ,DRAM 主機版..

而且原廠也不會願意賣你12 bay 2U x86 server ...
像 HP HP StorageWorks P4000 G2
http://www.ithome.com.tw/itadm/article.php?c=62919


報價88萬元, 這純硬體大概 20萬元 .軟體60萬? oh my god
賣很多bay 2U ...那軟體費是硬體費用 3~4倍的SAN 就不用賣了

老實說 我也想節省時間 不想當 光華組裝小弟
也不想要對HP, Dell Part料號滾瓜亂熟..

其實給給SI ,系統商 代理商 賺賺也沒關係 .
但是沒專業, 等料跟我說一個月, 比國外含運價貴上 50%
再加上不賣 沒進這型號 !#$!% (台灣沒現貨從新加波叫 還可以說沒進這型號）
原機出廠Storage Card +原機出廠　HDD Raid 1 可以給我鳥到 5MB /sec

OSSLab 成員有在比IXX ,HX ,Dxxx 還要前面的Storage代工廠做FAE
該OEM廠 內有SATA ,SAS protocol analyzer　但是只能用於回報控制器廠與HDD 廠的除錯

"小時後"遇過很多嘴泡PM 跟我說 光纖控制器跟FC HDD FW 有否配阿...
所以Sun 跟Netapp 等不通用阿..
後來自己買了20萬可以亂寫SAS HDD FW設備+做實驗..
發現其實是...
http://www.osslab.org.tw/Storage/Ent...with_520_Bytes

我的總結是...系統廠不是 Fabless IC Designer 也不是 ＨＤＤ Storage 廠
無法正確去分析 SAS ,SATA Protocol ,在對控制器 SAS 指令, HDD firmware 做修正..
乖乖用原廠硬碟.算了吧..

[我要開機啦]

請問一下iSCSI時網卡有無TOE在CPU的使用率上到底差多少？
要使用TOE是iSCSI Target端使用這種網卡還是兩端都要？
TOE是只要進出這張卡的TCP/IP封包都有幫忙運算嗎，包括一般上網和區網對傳，還是只對iSCSI封包有用？

[ivantw]

還好我都是直接對原廠，原廠的Account Manager夠負責任，技術能力也沒問題，我不需要面對這些鳥問題。 XDDDDDDDDD

[byron828]

高檔設備.....開實驗室?! 我還在用淘汰的CISCO1600做local練習咧!
羨慕啊!!~~換作是我=敗家子 囧!!

[thx]

舊Raid I/O 1.5 TB *11 PCS






用了Hot expand 指令 1.5 TB 12 PCS
新Raid I/O


以上都在一台 HP ML150 G6內.
手上 還有 14 PCS 1.5 TB還沒裝上去 不太敢做碟海戰術 再串...

[thx]

妻妾成群






ML150 G6 5U 12 Bay








Xeon 5502 + 24GB DRAM +1.5 TB * 12 pcs
H700 NVRAM +sas expanfer + Intel FC Lan CARD +
Boradcom Dual 1000M +Infiniband 10Gbps Lan
還沒post完....