Dell Prec H700 + 3TB*4 of RAID5



贊助商連結


頁 : [1] 2 3 4

lenbo
2011-08-13, 11:47 PM
原本小弟的NAS備份方式是設定將一些重要檔案
像是老爸的文稿、老媽的講義、我的求學檔案及照片、音樂等…
以每週自動差量備份至一顆WD綠標。
當然還有再從中挑更重要的檔案再備份至平時不用只放防潮箱中的隨身硬碟中。
至於其他像動畫、電影、謎片等…就完全沒有任何備份措施了OTL
打算哈滴爆了就爆了~風吹雞蛋殼,財去人安樂(合十)

上週與 ellery 吃下午茶時,才發現他新買的 Synology DiskStation 1511+ (http://www.pczone.com.tw/thread/16/153190/)
不但組了 2TB*5 of RAID-5 外,連動畫、電影等也放進去了…
當下覺得小弟我對於這類資料實在是太不尊重了!

剛好,最近 Dell Prec H700 頗便宜的…
相比那種一般小老百姓幾乎買不下手的 LSI 或 3WARE 陣列卡來說…
(ps: 懺悔哥不算一般小老百姓)
H700的價位實在是太划算了!

當然!買這種非零售用的陣列卡也是有一定的風險!
就是可能與主機板或哈滴水土不服,實在是人間一大慘事!
硬著頭皮當近萬元拿去買樂透彩的心情,
找了家賣家,詢問覺得價錢還蠻漂亮的就下手了。
http://www.ddp.idv.tw/images/2011/0810ps01-h700.jpg

小弟我反其道而行,特地跟賣家指名要轉單SATA頭,不含電源以相容SAS的線。
主要是小弟我確定自己這輩子不可能會去碰SAS-HD
理由同買不下手的 LSI 或 3WARE 陣列卡
意外地不但是 Amphenol 的線外,還是 Spectra-Strip 等級的也!
http://www.ddp.idv.tw/images/2011/0810ps02-h700.jpg

總共內容物為:RAM安裝說明書、驅動程式DVD、BBU+線、H700+512 RAM、
兩條SFF-8087轉4頭SATA的線材(還蠻長的)
至於為什麼要挑 512RAM 版,而不加個三千換 1GB NVRAM 版的理由也同前XD
其實我的主機是有接 UPS ,其實是不用再接 BBU 的…
不過一起買比較便宜,接了 BBU 也才不會顯示警告訊息,就還是買了。
http://www.ddp.idv.tw/images/2011/0810ps03-h700.jpg

整線完畢後,主機內容一整個清新!
不過,當初特地挑有8組SATA的主機板也等於沒意義了。
http://www.ddp.idv.tw/images/2011/0810ps04-h700.jpg

開機第一件事是確定 H700 與 ASUS P7H55-M/USB3 相容!
http://www.ddp.idv.tw/images/2011/0810ps05-h700.jpg

Debian 6 直接支援 H700 !
所以兩顆 Hitachi 7K2000 2TB 所組成的 RAID1 直接能看成一顆哈滴!
http://www.ddp.idv.tw/images/2011/0810ps06-debian6.jpg

灌完 OS 在第一組陣列 Hitachi 7K2000 2TB @ RAID-1 後,
總覺得沒有來組 RAID5 實在是埋沒了這卡的實力啊~
忍痛與網友先後敗入三顆他從日本帶回來的 Hitachi 7K3000 3TB
加上之前買的,就總共四顆可以來組個蠻爽的 RAID-5 了!

感覺日本版的盒子比較專業的樣子…
http://www.ddp.idv.tw/images/2011/0811ps01-3tb.jpg

日本版的不至是盒子設計看起來專業而已,內部的物流防震處理也做得比台灣好太多了!
更不用說還附上說明書及螺絲…這台灣N年前才有附的東西。
http://www.ddp.idv.tw/images/2011/0811ps03-3tb.jpg

由於這次日本的三顆序號都是全球保固的關係,所以在台灣也能申請原廠RMA!
只是一年內有問題不能免費由代理商做保固服務而已…
話說,超過一年了都要收取$600不等的費用才售後服務的保固算保固嗎?
http://www.ddp.idv.tw/images/2011/0811ps02-3tb.jpg

其實也可以跑 RAID6 不過這樣子就只能用到兩顆的容量而已…
所以感覺哈滴數量在四顆以下的情況,要做 RAID-6 還不如做 RAID-10
http://www.ddp.idv.tw/images/2011/0811ps04-h700_vd.jpg

RAID-5 總共能用 8.18TB ,還能容許一顆爆掉而資料不流失。
http://www.ddp.idv.tw/images/2011/0811ps05-h700_vd.jpg

H700 支援 SATA3 6.0Gbps
http://www.ddp.idv.tw/images/2011/0811ps06-h700_pd.jpg

未料,在小弟我辛辛苦苦把資料搬得差不多可以告一斷落後…
在遠端SSH細部調整系統設定時,突然給我當機 =..="
衝去電腦前看時,螢幕一直顯示 I/O ERROR 跑馬燈洗螢幕 OTL
只好先硬拔電源,過一陣子再重新開機…
結果變成 2TB*2 @RAID-1 這組 VD 抓不到了 囧
原本以為是卡的錯、又以為是線的錯、最後才發現是其中一顆 Hitachi 7K2000 2TB 掛了OTL
H700 顯示兩顆 2TB 的 S.M.A.R.T. 都呈現 ERROR
但是一一拆出來改接另一台 Windows7 的電腦,只有一台是 BIOS 開機時就會顯示錯誤警告,
而以 CrystalDiskInfo 來看 S.M.A.R.T 也顯示 Spin Retry Count 失敗
所以,另一台2TB是好的,但是卻被 H700 也判定 SMART ERROR 真奇怪?

當下就把還未活過一年就壞掉的2TB帶去光華店家送修,
火大就再買了兩顆 Hitachi 7K3000 2TB 回家 OTL
http://www.ddp.idv.tw/images/2011/0812ps01-2tb.jpg

原本有考慮也來組個 2TB*3 @ RAID-5 的…
不過在這組 RAID 的資料安全考量較重的情況下,
還是組成 RAID-1 並暫時把沒壞的那顆以 Hot spares 的方式掛載。
http://www.ddp.idv.tw/images/2011/0812ps02-h700_vd.jpg

目前還在考慮 Hot spares 的必要性?
其實只是讓一顆同容量的哈滴在那待機而已…
當陣列卡偵測到 RAID 中有顆哈滴嗝屁了,
就立即拿 Hot spares 遞補 Recovery 上去而已…

對於小弟即將登入國軍Online的人來說,
是有助於小弟我人不在家卻能即時修補 RAID 的功用啦…
這樣子的話,我還得再弄顆 3TB 補進去當 Hot spares 咧~

贊助商連結


mis339
2011-08-14, 02:17 PM
也是蠻重本的藍寶哥……
建議你可以趁還沒報效國家且備份資料還沒刪除前無聊測一下。
因為以三、四顆組RAID 5來說,個人是覺得效能和安全性都一般般!
你也可以測試一下,如果「模擬」拔掉一顆後,RAID 5的效能會下降多少?然後如果再插一顆新的進去,重建要多久?

也許,只是也許……你可能會覺得組10算了……
話說……我也好想買片H700來玩玩……

DS
2011-08-15, 03:41 AM
總覺得沒有來組 RAID5 實在是埋沒了這卡的實力啊~


這種卡沒有直接買8顆來跑RAID6才真的是在羞辱它:jump2:

cable、Mobile Rack也該換掉
換成有SPGIO的
硬碟掛掉的話,面板指示燈直接顯示故障硬碟

lenbo
2011-08-15, 03:03 PM
這種卡沒有直接買8顆來跑RAID6才真的是在羞辱它:jump2:

cable、Mobile Rack也該換掉
換成有SPGIO的
硬碟掛掉的話,面板指示燈直接顯示故障硬碟

看來 D董 真的是替這張卡怒了!
所以才會把 SGPIO 拼成 SPGIO

D董要見諒啊…小弟我又不是 懺悔哥 也不是 D董
光要湊齊 4顆 3TB 就已經像是集七龍珠般的困難了(;´∀`)

昨天才搞定 MegaCli 在 Debian 下的安裝…
沒想到只是用 alien 把 rpm 解出來直接用就可以了Σ(´∀`;)
現在還得花工夫寫 bash scripts
這樣子才能在 HDD Fail 時寄 email 通知我。

另外, PREC H700 不支援讀取哈滴 S.M.A.R.T 的溫度數值…真是鳥OTL

per1
2011-08-15, 05:08 PM
也是蠻重本的藍寶哥……
建議你可以趁還沒報效國家且備份資料還沒刪除前無聊測一下。
因為以三、四顆組RAID 5來說,個人是覺得效能和安全性都一般般!
你也可以測試一下,如果「模擬」拔掉一顆後,RAID 5的效能會下降多少?然後如果再插一顆新的進去,重建要多久?

也許,只是也許……你可能會覺得組10算了……
話說……我也好想買片H700來玩玩……
16顆WD SAS 2.0 1TB 7200rpm建置RAID 6..
拔掉兩顆做rebuild..
花費大約1小時半~2小時半..
不過我有動過ATRP....
調成80%..

RAID 5就...
應該會更短..

lenbo
2011-08-15, 11:07 PM
花了一番工夫,弄了二天才搞定OTL

Dell OpenManage Server Administrator (OMSA) 在 Debian 上好裝是好裝…
而且還有漂亮的 HTTPS 網頁界面!
不過抓不到自家的 PREC H700 = =a
大概是由於從 lspci 中發現 Debian 直接辨識成 LSI MegaSAS 9260 的關係吧?
也懶得再去動驅動了…其實是個人很怕去動 Linux 的驅動,怕一動就一圑亂(;´∀`)

找 LSI 自家的 MegaCli 與 MegaRAID Storage Manager (MSM) 來裝看看吧…
沒想到只提供 rpm 套件Σ(´∀`;)
不過 LSI 也有說明如何轉成 deb 套件啦…
$alien -k --scripts *.rpm 就會生成 *.deb 了!
看樣子很好實作…才不!
就是 MegaCli.rpm 生不出來!
雖然畫面會顯示 MegaCli.deb is generated
不過就是沒這個檔案生出來 OTL
想說不理這個好了,我裝 MSM 總行了吧!
沒想到用 alien 轉出來的 MSM.deb 裝了以後會產生無窮 java 迴圈 ('A`)
而且還不曉得怎麼乾淨地移除掉 MSM
只好重灌一次 Debian 6 amd64
還好 Debian 重灌很方便 (´∀`)

這回仔細來 Google 解決辦法 (http://staff.blog.ui.ac.id/jp/2010/10/07/installing-megacli-in-debian-based-system/)…
發現可以直接用 alien 把 rpm 解開!
$alien -g MegaCli-4.00.11-1.i386.rpm
然後直接用解出來的 MegaCli64 執行檔就可以了!

這下子問題又來了,當哈滴出問題時該怎麼 email 通知我?
再 Google 找解答
發現可以用 awk 的方式來比對 MegaCli64 -PdList -aALL 輸出結果
小弟我又稍微修改了一下原來網友提供的程式碼如下:


# This is a little AWK program that interprets MegaCLI output
# using $ /opt/MegaRAID/MegaCli/MegaCli64 -PdList -aALL | awk -f /opt/MegaRAID/MegaCli/CheckRAID.awk
# to show error msg.

# imported data
/Device Id/ { count += 1; device[count] = $3; alert[count] = 0 }
/Firmware state/ { state[count] = $3 }
/Inquiry Data/ { model[count] = $3 }
/Drive has flagged a S.M.A.R.T alert/ { smart[count] = $8 }

END{

# check hard disk has error or not.
for(i=1; i<=count; i+=1){

if(state[i] != "Online," && state[i] != "Hotspare,"){
alert[i] = 1;
}

if(smart[i] != "No"){
alert[i] = 1;
smart[i] = "Bad.";
}else{
smart[i] = "Good.";
}

}

# print which hard disk is bad.
for(i=1; i<=count; i+=1){
if(alert[i] == 1){
printf( "Device %02d (%s) is: %s and S.M.A.R.T is %s \n",
device[i], model[i], state[i], smart[i]);
}
}
}

之後只要$ /opt/MegaRAID/MegaCli/MegaCli64 -PdList -aALL | awk -f /opt/MegaRAID/MegaCli/CheckRAID.awk
當有哈滴的狀態不是 Online 或 Hotspare 的話,
又哈滴的 S.M.A.R.T 有錯誤的話,
就會把那顆有問題的哈滴資訊 print 出來。

問題又來了,哈滴資訊印出來了要如何 email 通知我呢?
因為哈滴沒問題時,我不希望也會被 email 通知的關係,
所以用 test -s 判斷 CheckRAID.awk 輸出是不是空訊息?
如果不是空訊息才會把內容 email 給我。


#!/bin/bash

MSG="/opt/MegaRAID/MegaCli/CheckRAID.txt"
/opt/MegaRAID/MegaCli/MegaCli64 -PdList -aALL | awk -f /opt/MegaRAID/MegaCli/CheckRAID.awk > $MSG
test -s $MSG && mail -s "RAID ERROR MSG." [email protected] < $MSG


再來就是把這個 scripts 列入 crontab 裡就算完成了吧?

ivantw
2011-08-16, 08:12 AM
vxr哥,請教一下消費型SATA HDD,哪顆建RAID(@H700 or @8888ELP)最經濟?是HGST 7Kx000 or Seagate?上RAID前,需不需要動點手腳?如ERC...



16顆WD SAS 2.0 1TB 7200rpm建置RAID 6..
拔掉兩顆做rebuild..
花費大約1小時半~2小時半..
不過我有動過ATRP....
調成80%..

RAID 5就...
應該會更短..

per1
2011-08-16, 12:08 PM
vxr哥,請教一下消費型SATA HDD,哪顆建RAID(@H700 or @8888ELP)最經濟?是HGST 7Kx000 or Seagate?上RAID前,需不需要動點手腳?如ERC...
現在的HDD都沒辦法直接開ERC了=.=""...
7K3000可以開..
但是開了以後重啟動..
馬上又會回到關閉狀態...


"請教一下消費型SATA HDD,哪顆建RAID(@H700 or @8888ELP)最經濟?"
HGST....

我的建議是..
如果面對這些desktop層級的HDD...
一定要具備基本的enclosure management機能....
在第一時間才能知道到底誰出問題了...

lenbo
2011-08-16, 12:18 PM
"請教一下消費型SATA HDD,哪顆建RAID(@H700 or @8888ELP)最經濟?"
HGST....


HGST 不知道還能賣多久?真是杯具啊…
以後只有貴到爆的 WD 黑標 或 WD 企業級 能買了 OTL

per1
2011-08-16, 12:22 PM
HGST 不知道還能賣多久?真是杯具啊…
以後只有貴到爆的 WD 黑標 或 WD 企業級 能買了 OTL
企業級可以選擇..
SATA line:
1.WD的RE SATA...
nearline SAS line:
1.WD的RE SAS
2.Seagate的SAS(Seagate的SAS跟SATA完全是兩回事..!!)