我個人Lab 的8TB Fibre Channel SAN

[thx]

我個人使用虛擬化架構半年.原有舊架構已可跑30台VM,非常方便的做各種IT導入,因為要搬動機房,順便從心規畫架構,新架構上設計目地是可以做出比舊架構做出更多更深入IT應用,所以採購FC SAN Cluster Storage,所以可以輕易做出 HA ,DRS ,Live Migrate等高端實驗.

另外可方便更換不同Hypervisor os ,是一大重點,可以輕易做出切換各家Hypervisor 比較,比如說VMware esx vs Virtual Iron,Sun Xvm server等架構.直接用Server 遠端控制界面切換從HDD或SD 開機.並且將VM image file 全部置入於SAN .

San Storage 因為預算問題　,所以採用open-e dss,並且不用FC HUB 這方面還有待測試.

MD1000 Disik I/O 約為600MB/sec以上 2Gb FC實在不夠　不過礙於預算問題就只好先用2Gb FC.

IBM Server 上有高容量Local Disk,這台主要用於Web hosting跟重要資料都放Local disk.當然SAN 也會天天備份一份此機內的VM.

做這樣的LAB其實初衷是在於對　open sources的推廣 我相信有這樣的平台　能讓open sources更為成熟 正式開放時　會做個更全面介紹.
http://wiki.osslab.org.tw/OSSLab_FAQ

另外這架構非常方便做 各種x86 os 防火牆 ,Routeros 測試.歡迎有志之士加入我們計劃.

全部機器詳細列表在這,不定時更新
http://wiki.osslab.org.tw/OSSLab_FAQ.../New_Structure

機器盡量趕在10天內上線 要不然 我回中國時間又晚了

[sakura26]

O_O||||||||
這根本就是一人機房啊 這麼歡樂 這樣加一加應該有50萬up吧
不管是2950 MD1000 光纖網路 還是20M/20M都讓人口水直流....

話說舊架構就可以支撐30台VM這一點我滿有興趣的, 想請教是用那一套虛擬系統, 硬體架構為何? 我自己手邊的機器相對低階, dell 1430 (4 core E5310+iPERC6 Raid5+FullBuffer 2G DDR2), 用Vmware GSX只能跑6-7台, 實在不怎麼順暢, 想知道瓶頸出在哪邊...

p.s.我自己推了一年多才幫系上弄到2台2950跟全套cat6 giga網路, esx server跟SAN還遙遙無期呢....（遠目

[thx]

要能發揮最好的硬體效能 請用hypervisor type 1 架構虛擬化軟體
請參考
http://wiki.osslab.org.tw/%E5%AF%A6%...Virtualization

這邊把SAN 需求說明一下

需要有圖型化監控介面

能監控storage 狀況 (MD1000內建web admin 應該也可用)

最好能在 無FC Switch下做FC bonding.(trunk) (二端initiatorr 與target 都需要設定)

Snapshot

需能support 我手上的 Emulex ,Qlogice FC HBA 2G card


挑選iSCSI Target,FC SAN storage 軟體 這邊完全"不考慮" Windows 派系.


1.opensolaris +webmin+comstar

Comestar 為SUN open sources iscsi target project

http://opensolaris.org/os/project/comstar/

http://developers.sun.com/openstorag...ge_server.html

只支持Qlogic 4G,8G Emulex 2G ,4G,8G 不支持Qlogic 2G.


2.openfiler (rpath linux+scst)

可參考

http://bbs.vmware.cn/thread-16567-1-1.html 作者貓貓

http://bbs.vmware.cn/thread-11787-1-1.html 作者 c2h6o

可NIC bonding

http://forums.citrix.com/message.jsp...sageID=1339598

硬體支援 QLogic 22xx/23xx/24xx

openfiler 算可做到不少功能了　但是內部raid card 監控不好

小弟如真要用 openfiler 必需加入raid card監控 套件
LSI Logic MegaRAID Storage Manager Release for Linux



3.freenas 效能差 不列入考慮


4.open-e 只看到 Qlogic 2G (待查) 功能良好 可監控raid card.內建多產牌 raid(包含Lsi) 工具程式 (新增disk ,rebulild 等都沒問題)

open-e dss 說明書下載
ftp://downloads.open-e.com/download/...DSS_BAS_EN.pdf

6.opensuse +webmin+scst

http://scst.sourceforge.net/targets.html QLogic 22xx/23xx/24xx

http://lifestory.moqin.com/?p=695

相關討論與經驗

http://bbs.vmware.cn/thread-16772-1-1.html

http://bbs.vmware.cn/redirect.php?ti...&goto=lastpost

https://forums.openfiler.com/viewtopic.php?id=1968



Fibre channel SAN 不是弄好看的
之前小弟要測不同家 HyperVisor type 1 虛擬化軟體 (VMware esx,Virtral Iron, Xensever, Oracle VM ,等) 十分麻煩

因為這些軟體都無法在虛擬軟體運作 (ESX除外) 並必需準備具Intel VT or AMD -V 實體電腦 如果想要同時比較與比對測試 是很不方便的.

這次加入了SAN 架構外 除了可以用於高階虛擬化軟體實驗外. 另外很重要的是利用Server 上的遠端控制卡 ,可以設定FC Card boot應不同的LUN ,因此可以不同的boot 硬碟.要跑什麼Hypervisor 軟體就隨你高興了, 硬碟空間則是從主SAN 去分割出來的 彈性上就方便很多 (之前設計本來想用SD card)

另外遠端控制卡可以 loading virtual cd-rom drive 遠端安裝 完全不成問題 (以固定機IBM X3250 操作)

為何要這樣規畫與設計, 因為Hypervisor 軟體競爭將會非常激烈.包含很多好用低成本或免費的虛擬化軟體Oracle VM or Sun Xvm server等
有這樣平台 可以快速的判斷與規劃出 這些較低成本虛擬化軟體導入 合不合用 而不在仰賴於要價20萬的VXXXXX

一些細部還在弄 我還在超擔心其他家 (IBM ,HP) 遠端控制卡不能做我講的設定 這幾張卡都沒現貨 都訂了 要等....


MD1000與Poweredge 860 FC 實機照片

[sakura26]

想請教iscsi HBA card的購入價格？ 之前也有興趣試試但是價位實在很高, 不支倒是不是被店家虎了...

[thx]

我手上共有
Qlogic QLA2342 2 Port 2GB FC PCI-X *2
LSI LSI449290 2 Port 2GB FC PCI-X *2
EMULEX 1050EX 1 Port 2GB FC PCI-E 4x *1
Qlogic QLA2344 4 port 2GB FC PCI-X *1
LSI LSI7402 4 port 2GB FC PCI-X *1

FC HBA 購入價格都不算很高 2 port 大概去taobao or ebay上買 約在nt 3000上下

如果去一般門市叫貨 都5位數起跳 前面常常還會有個2 or 3 >< ..不過應該都是pci-e 和4G

[sakura26]

喔喔 果然便宜多了, 雖然是pci-X介面但是剛好可以用在dell 2950跟1430上面, 等有閒時就來搞搞看XD
這樣是server上面一個fc port對應主機上面一個fc port, 兩邊都要是HBA Card還是Server端用光纖網卡就好?

ESX Server的部份 我映像中上次去問VMware的價格2cpu就要價10萬以上, 所以雖然知道這樣效能最好但是還是用不起呀, 但是我底下的server又不只是linux, 還混了一些FreeBSD之類的系統, 目前XEN還不支援的樣子, 其他幾家看起來也不適用, 還滿傷腦筋的. 目前還是只有靠linux+VMware GSX來撐

另外想問的是, 您覺得虛擬化方面, 在硬體上哪些是最重要的? cpu有沒有虛擬化差很多, 記憶體要夠大才能跑多系統, 硬碟速度似乎也是滿重要的, 但是除了上萬的Raid Card, 市面上的一般卡跑起來速度也難以超過100MB/s... AMD推出的記憶體映射虛擬化我沒有用過所以不知道效果... 對您來說什麼是你會特別注意的?

[thx]

目前esx 3i (安裝在usb disk上 ) ,3.5 basic 是免費的 你可以抓下好好使用

會缺少vmotion ,drs,ha 等高階功能 不過我覺得暫夠方便用與學習
免費的Hypervioser type 1 還有Oracle VM ,Sun Xvm server 功能是完整的

虛擬化主機
CPU,DRAM,Disk I/O 三者缺一不可 要一種均衡
CPU 架構挑 2 way 以上, dram 16gb 以上(32G 更好) ,
raid card 其實挑dell perc 6 還挺便宜的 nt 8k 左右 而且相容性ok..
10 pcs SATA HDD 衝到 500 MB/sec 到還沒太大問題

有興趣可參考
http://phorum.study-area.org/index.php/board,39.0.html

[klyprrhn]

大大您好
您玩了那麼多HBA card
想請教您有沒有哪一張FC HBA card 是Freebsd7.0有支援的

[thx]

我對freebsd 不是很熟
不過大體上參考
http://blog.bsdchat.com/2009/04/qlogic-qle2460.html

7.0 是有內建 Qlogic driver的
Emulex 我就不確定了
其他家的HBA 我就不建議買了...