RAID硬體資訊收集...!!

[per1]

之前就想寫這個來做備註了。在此先標記起來，做為以後遺忘備用查詢...XD。
順便供各位參考！
大致上提供一些重點廠商資訊(只針對SAS和SATA)..
不定期會增加資訊..
先上廠商大綱及編排基本版面....
內容晚點慢慢補=__="

已編入至OSSLab：
http://www.osslab.org.tw/Storage/Ent...S%e8%88%87RAID
歡迎各位前來觀賞...
================================================================
基礎資訊
SAS/SATA HBA和RAID HBA
HBA為Host Bus Adapter，作為介面卡的通稱，可能是網路卡、音效卡、存取儲存裝置的控制卡，其實無非著眼於Host Bus這個字眼，規定了對Host Bus界面上的支持。

SAS/SATA HBA作為與I/O Storage連接的最基礎方式，最大目的無非就是與Storage存取。SAS/SATA HBA對於支持的Host Bus規格與HDD連接器(Connector)介面規格則視該晶片的硬線設計而定，Host Bus面對的也許是PCIe或著PCI-X，而HDD連接器介面規格則是SATA或著SAS。SAS/SATA HBA決定了對連接器數量的限制，例如某個SATA HBA對於SATA Port的支持數量。我們以Silicon Image的低階SATA HBA基本結構圖來表示，如下：


而這張是因為韌體關係而使其成為一種SAS/SATA HBA的LSI SAS控制卡實物：

採用LSI1068晶片

這張是使用LSI1068的晶片，本身的SAS控制器提供了wide port x2支持，內置一顆ARM的IOP(@225MHz，印象中是這樣)，賦予基礎的RAID 0和RAID 1(LSI1068E的增強版提供了RAID 1E消費成本較高的模式，對於IOP的負載量會提昇)，另外有一個ZCR的支持。上述照片中的產品，由於韌體的關係，使其成為單純的SAS/SATA HBA，RAID功能完全被廢掉。

[table]Dual-Port設計：SATA和SAS物理規格上的最大差異
Dual-Port可以說是SAS獨有的特徵，這個設計實際上只有兩種主要作用：
1.防呆設計
2.提供容錯
防呆設計的作用，其實很簡單，就是防止SATA HBA插到SAS Storage，因為SATA的protocol並沒有辦法兼容SAS protocol，下面是一張SATA的引腳圖：

從Host Connector這部分可以看到，他有一個sideband去將signal connector和power connector去間隔開來，在右邊圖部分有一個SATA Connector模型包含了大4pins的12v電源接頭，我想這大家都知道，這是為了早期去保持相容性而設計的。接下來我們來看看SAS Connector的引腳圖部分：

可以看到SAS Drive Connector部分，與SATA Drive Connector相比，他多出了一部分的backside，這個backside作用於第二條的secondary link，也就是說在SAS Connector下，包含兩個signal connector和一個power connector，兩個signal conntecor作為一個是primary和secondary，由於多出了一個backside導致SATA HBA或著SATA Controller on Motherboard 無法連接在SAS Port上，保證了某些情況下SATA cable不會誤接在SAS Drive Connector上。我們以一張SAS HDD和SATA HDD的Connector比較圖來示意其差異部分，如下：


而以下我們從兩張圖來說明一些問題，下面是SAS protocol基本示意圖：

來看看SATA protocol的示意圖：

已經知道SAS的Drive Connector設計以致SATA HBA無法連接，前面說過這樣做目的之一為了防呆，但是為什麼要防呆呢？？基於這個理由，稍微探究一下為何要這樣做！其實從上面兩張協定圖框起來的link layer，可以發現差異，SAS多了STP協定，STP全名為Serial ATA Tunneling Protocol，STP協定最大目的就是為了讓SAS兼容SATA裝置，而在SATA protocol根本不需要這種自我矛盾的協定，另外包括SMP(針對Expander部分)和SSP(針對SAS部分)這兩種協定，這兩個協定也是跟SATA完全不合，因此，從這邊已經可以決定了SATA HBA是完全無法連接在SAS HDD。

對於Dual-Port設計的第二個目的-提供容錯，這是Dual-Port設計最大的目的，前面有提到，SAS Drive Connector中的backside拉出的引線作為secondary link，這兩個link表示著SAS HDD被賦予了兩個＂實體連接＂，這樣的做法，我們用以下的圖來表示其應用性：

這是一個典型的Dual-Port應用模型，可以得知當一張SAS HBA故障的時候，並不會導致該SAS HDD無法正常使用，而是透過另一張SAS HBA來確保SAS HDD的資料安全性，可以理解到Dual-Port設計確實提供的某種程度的容錯以及可性用的增強，不過很多情況下，Dual-Port設計並沒有得到太大的實務應用。不少backplane單純只有Single-Port設計，並沒有Dual-Port設計，以至於這樣的功能形同虛設。[/table]

在以RAID HBA的角度來看，它是從單純的SAS/SATA HBA上提供了RAID功能(RAID 0, RAID 1, RAID 5, RAID 6，甚至是混合模式)，有些RAID HBA裝置在單顆HDD下還是可以識別使用(通常是沒有內置IOP)，另外有些RAID HBA，就是得必須建立陣列才能用(如果HDD本身有資料存在的話，必須事先備份)。下面是一張LSI/3ware的早期9690SA-8i H/W RAID HBA卡，這是一張硬體RAID，是由PPC+IOP+IOC組成經典的StorSwitch結構，在3ware還沒被LSI併走以前，一直都是用這種結構：

很多人以為那個PPC405R是IOP(@266MHz)，連我當初以為也是=_=，其實這顆PPC處理器是用來操作韌體(Firmware)代碼用的(左邊那顆)，真正作用的IOP部分在中間那顆被散熱器蓋住的晶片，可能是與9650SE同款的處理晶片-3ware/AMCC G133 RAID Engine(True Hardware RAID)，因為一樣都標明8th-generation StorSwitch架構，故猜測可能是相同的，而且G133 RAID Engine並非從9650SE開始用的，所以是蠻古老的。不管如何，9690SA是真正的Hardware RAID，並且提供BBU支持。而下面這張是LSI 9211-8i的RAID HBA卡，提供基礎的RAID功能，在單顆HDD的情況下，可以被識別直接使用：

注意！這顆用的晶片是LSI 2008，它是一顆RoC架構的晶片，所以是Hardware RAID架構，內置PPC440(@533MHz)的IOP，基本上是可以提供RAID 5模式，但是因為韌體的關係，並不提供RAID 5功能，因此IOP部分僅在消費成本較高的RAID模式下才比較有效益(而且Block Size還是固定的，不能調整=.="")。

在某些廠牌的工作站/伺服器主機板也提供這塊晶片(這種其實可以稱之為ROMB方式)，Host Bus用PCIe Gen2 Lane x8去連接他，例如Supermicro的X8SI6-F，不提供RAID 5模式，預設模式為IR(Integrated RAID)模式，但透過一小塊的RAIDKey去啟動並切換至IMR(Integrated MegaRAID)模式後，便可以得到支持，如下圖所示：

透過RAIDKey方式啟動後，便可提供RAID 5模式，且允許Block Size彈性調整(最大只能到64KB)，支持SSD Guard技術，但是因為切換成IMR模式後，在單顆HDD情況下，沒辦法被識別使用了，必須要建立陣列才行。下面是一張LSI MegaRAID SAS 9240-8i的RAID HBA，歸屬於MegaRAID產品線，所以可以提供對RAID 5模式的支持：

在提供對RAID 5模式支持後，在單顆硬碟情況下無法被識別直接使用，而BIOS模式與SAS 9211不同，提供的是MFI(MegaRAID Firmware Interface)操作模式。

這是一張LSI2008的方塊圖結構，如下所示：

可以看到LSI2008支持到wide port x2，裡面有一塊-Fusion-MPT，這是LSI專屬的I/O通訊架構。

[table]ROMB設計：比RAID HBA/ZCR更具有成本優勢
ROMB全名為RAID on Motherboard，意思就是主機板(Motherboard)上做一個RAID的子系統部分，與RAID HBA相比較，它具有更大的成本優勢。現成板子上的layout設計，元件配置的最佳佈署，成本化的取捨考量。以一張RAID HBA搭配主機板，例如Supermicro X8SIE-F搭配LSI MegaRAID 9240-8i，實際成本會遠高於一張Supermicro X8SI6-F與Supermicro AOC-SAS2-RAID5-KEY的組合，由於這樣的價格優勢，ROMB設計是一些做高端主機板廠商會採用的方式，例如前面提的UP Xeon系列板子-X8SI6-F，即是如此！

這樣的設計雖然立意上不錯，但是免不了會有缺點上的存在，就是沒辦法基於這個RAID子系統上再加以硬件式擴充升級，最多只有通過韌體(Firmware)更新的方式提供新的特性以及一般性問題修正(The primary disadvantage of ROMB is the lack of hardware upgradeability, although features and performance can generally be upgraded in firmware.)。當然！ROMB的設計也可以避免一些相容性的問題，因為一切決定於主機板廠商。下面的示意圖表示ROMB的模型架構：

可以看到整個元件配置皆佈署在主機板上，這是實作RAID(RAID implementation)系統的另一種典型模式！成本優勢上的設計方案。下面這張是Broadcom的ROMB文件提供的簡易模型：

以一般主機板上透過南橋晶片(South Bridge)提供IOC，利用RAID Option ROM寫入至NVRAM讓BIOS提供RAID功能，例如像Intel的ICHxR實務設計-Hardware-Assisted Software RAID。其實算是一種ROMB，個人認為，ROMB設計沒有強制規定要Hardware RAID，因此，只要是在主機板上提供RAID功能，都可以算是ROMB。
[/table]

RAID HBA通常分成兩種形式：Software RAID和Hardware RAID，我想這玩過或著知悉一些RAID知識的人都應該知道，在說明這兩個模式之前，並不包含到一些古怪的產品實務設計，例如某家RAID卡廠商(H開頭)早期某幾款提供某種程度的XOR硬線加速設計來提高I/O性能。

Hardware RAID比較好講，基本的架構就是IOP+IOC的組合，IOC可以說是SAS/SATA HBA部分，IOP通常只是拿來加速運算用的。Hardware RAID的部分，我們稍後再提，先來講講Software RAID，根據Adaptec早期提供的一份基礎文獻(Hardware RAID vs. Software RAID: Which Implementation is Best for my Application?)，對於了解Software RAID和Hardware RAID差異是值得參考的，就Software RAID的特徵，Software RAID拆成兩個部分：Pure Software Model – Operating System Software RAID和Hybrid Model – Hardware-Assisted Software RAID。在Pure Software Model下，這個模式是非常容易瞭解的，RAID功能與實作上的決定完全取決於作業系統而定，此模式提供最低成本的考量，但是缺點不少，最大的缺點在於他I/O性能不佳，而且受到Software層級上的限制，意味著它容易被作業系統綁死，下圖是一張Pure Software Model的基礎示意圖：


Pure Software Model在一般情況下，是不會去應用的，尤其最近這幾年來，Hybrid Model – Hardware-Assisted Software RAID反而是最常被用到的，基本上就是SAS/SATA HBA with a RAID BIOS或著是RAID BIOS integrated onto the motherboard，例如Intel的ICHxR就是一個Hardware-Assisted Software RAID，透過額外的硬體加入RAID的支持(將RAID Option ROM寫在BIOS裡)，RAID功能部份可以獨立於作業系統，資料安全上也高於Pure Software Model，透過系統啟動BIOS初始化階段，可以預先檢測到RAID模式的狀況，並且提供獨立的GUI設定RAID組態，當然在某些RAID模式下，IO性能依然會受到限制，例如典型的RAID 5模式。下面是一張基本的示意圖：

這張描述的是以HBA with a RAID BIOS的模型，RAID Software與HBA部分包起來，RAID Software意指著將有關RAID代碼部分寫在NVRAM裡，作為系統啟動初始化的時候，獲得RAID的相關功能，也包括專屬的組態設定(dedicated GUI and software to build and maintain the RAID)。
這張是我取自DELL網站加以修改的基本HBA with a RAID BIOS結構：

另外這張表示圖則是ICHxR實現RAID功能，將RAID Option ROM寫到主機板上的System BIOS裡，以提供RAID Configuration Utility建立RAID：


Software RAID的相反就是Hardware RAID，如之前所提，典型就是IOP+IOC(A Discrete RAID Controller Card)的組合，IOP作為某些模式(例如RAID 5)的運算加速時，可以提供某種程度上的效益(得視該硬體處理性能而定)，並且IOP會包含一些額外的硬線加速設計，當然Hardware RAID花費的建置成本都高於Software RAID，以下是來自DELL的IOP+IOC示意圖：

這種結構大多都會包含對Cache Memory的支持，藉以提供Read/Write Cache算法來增強I/O性能，透過BBU來提供某種程度上的資料安全性。幾年前IOP+IOC的分離設計代表最經典的就是Intel IOP333，也就是說IOC部分透過額外的RAID HBA晶片來連接，以下是IOP333的方塊圖：

上述有一個AAU(Application Accelerator Unit)，這個硬線加速設計可以增強RAID6的運算性能，但是IOP333面臨到的最大瓶頸問題在於IOP與IOC之間的連接頻寬，基本上是透過PCI-X拉過去的，最大提供1GB/s的帳面有效頻寬，這反而成了I/O性能上的問題，原因很簡單！就SAS 1.0規範來說好了，一條narrow link連接到Storage所支持的帳面頻寬為3Gbps，而wide port包含4 narrow links，3Gbps x4=12Gbps=1.5GB/s，在1.5GB的頻寬下早就打爆PCI-X了，當然實際情況不是這樣，一個wide port還不太容易衝爆，但是wide port x2的結果就不一定了，PCI-X頻寬不敷使用也是遲早的事。如下圖來自DELL PERC 5文件所示：

可以看到使用IOP333與IOC接通，IOC是使用LSI1068控制晶片，LSI1068面對的Host Bus支持為PCI-X，IOP333與LSI1068之間的頻寬只有1GB/s，導致連接多顆Storage後，性能上的問題會愈來愈嚴重。以下是經典的DELL PERC 5：

IOC部分則是使用LSI1068(沒蓋散熱片的那顆)，提供SAS/SATA HBA功能，在另一款的LSI 8344ELP也是這樣的設計，主要差別在於Connector連接規格不同與Cache Memory的可擴展性，如下圖所示：

下面這張是早期Adaptec優秀的IOP333產品－4805SAS：

IOC部分是採用與Vitesse合作的AIC-9410W晶片，提供wide port x2(4 narrow links/per port)。
這張是相反的4800SAS，採用的IOP為IOP331：

IOP331面向的Host Bus為PCI-X，結果跟4805SAS是一樣的。

另外3ware經典的StorSwitch結構也是IOP+IOC的分離設計，而且韌體代碼的操作交由獨立的PPC來處理，下面是一張3ware的9650SE-2LP：

最左邊包含了PPC+韌體部分，中間則是一顆IOP，最右邊是Marvell的IOC，來提供對Storage的連接，這張好幾年前有玩過，實在不怎麼樣的玩意兒，Host Bus部分為PCIe Gen1 x1，頻寬很小，提供Cache Memory支持，但是BBU功能被拿掉，且Connector是discrete的，也就是2 SATA ports，價格到現在還不便宜，因此可以列為最不划算的RAID產品之一XD。

Intel從IOP33x之後，大幅改進推出IOP34x的優秀產品，這是一個RoC架構的產物，基本上IOP與IOC完全被整合，所以不必考慮之間的頻寬問題，以下是IOP348的方塊圖：

IOP34x是雙處理器結構，並且整合IOC部分，提供wide port x2(4 narrow links/per port)，Cache Memory支持DDR2-533規格。RoC架構是這幾年的發展趨勢，雖然他不是創新的架構，不過這一兩年來的RAID硬體發展可以說是他的天下。下面是Areca的優秀RAID產品－ARC-1680ix-24：

可以看到這款可以支持到2 wide ports以上，因此這絕對是透過SAS Expander方式(右邊的那顆晶片)去擴展更多的wide port來連接大量的Storage。

RoC架構的一個經典產品是LSI的1078系列，下面可以看到一張來自DELL對PERC 6採用LSI1078的基本結構圖，事實上它是用來跟IOP333產品－PERC 5去做比較：

PERC 6是前一兩年當紅的產品，因為它比LSI同期產品還要便宜不少，加了BBU也沒多加少錢，要注意！LSI的BBU實在貴到翻掉=_=""，一塊就擁有跟LSI 8888ELP(LSI1078)差不多的性能，缺點是相容性上的問題要注意。

DELL PERC 6，Connector規格標準為非主流的SFF-8484標準，256MB DDR2-667 Cache Memory，後期的韌體支持SSD Guard(印象是要刷LSI的firmware...)。下圖則是前幾年LSI Internal/External RAID最高端的產品－MegaRAID 8888ELP：

Connector規格標準為現今主流的Internal SFF-8087 x2和External SFF-8088 x2，透過SAS Expander連接可以達到240個Storage，Cache Memory可擴展，最高可以達到1GB，在當時無論如何都是非常強悍的RAID產品。而關於LSI1078的方塊圖如下：

基本上塞一顆PPC440(@500MHz)的IOP，還包含了XOR Engine的硬線加速設計。LSI1078目前的最大缺顯在於Host Bus的頻寬瓶頸，因為PCIe Gen1 x8最大僅能支持到2GB/s的帳面有效頻寬，明顯略有不足，在後來的LSI2108就改善了這個問題，透過PCIe Gen2 x8提供了4GB/s的Host Bus帳面有效頻寬，可以說是大幅緩和！如下基本示意圖所示：

LSI2108不僅僅是提高了PCIe頻寬的需求，並且提升了PPC440的性能(@800MHz)，Cache Memory的支持提供到DDR2-800。下面是一張性能極為優秀的LSI MegaRAID 9260-8i：

當然價格也是相當難看，而且BBU這部分實在貴得離譜，一顆BBU07要將近9k=.=""，性能是很好沒錯，不過整體價格實在是OOXX的。

目前拿Intel和LSI的例子來舉，僅是說明RoC成為這幾年來發展的主流，當然並不單單是只有這兩家，另外還包括了Marvell的88RC9580和PMC-Sierria的PM8011。

另外Intel目前已捨棄ARM架構的Xscale IOP設計，轉向以Nahalem架構為主的x86架構(Xeon C5500/C3500[Jasper Forest])，走的方向也比較與眾不同，HBA部分透過SBB總線架構用來與Backplane(with SAS Expander)，SBB連接至Backplane提供相當高的I/O傳輸頻寬，對於一個mini-SAS Port的連結達到24Gbps的頻寬(並不一定如此，得視硬體設計！)，不過現階段看到的透過x86 CPU僅能加速RAID 5/6運算性能，沒有包含對SATA/SAS連接器上的支持，依然還是得透過外接SAS/SATA HBA來提供(例如使用LSI2008作為IOC上的支持)，而且x86架構的情況下，整個配套的軟體方案就顯得更重要了，就個人詢問得知目前比較完善在Linux部分，Windows部分還是有待加強，這是我所得知的部分。以下是自繪的SBB架構的一部分：

可以看到，透過Intel C5500/C3500[Jasper Forest]提供了一種XOR/P+Q硬線加速設計，用來提升對RAID 5/RAID6的性能，由於並沒有IOC的部分，必須另外接一塊做連接，例如這邊可以連接LSI2008作為與SAS Expander的溝通，最後利用SAS Expander透過Backplane與Storage建立連接(通過AMC)。

如果把Intel排除的話，那這幾年的Hardware RAID設計可以說是殊途同歸，清一色都是RoC架構，不管是LSI/3ware、Marvell、Areca(採用Marvell RoC)、Promise(採用PMC-Sierria RoC)或著PMC-Sierria/Adaptec等等...，都是朝向這個方向發展，這不僅僅是性能上的提升，高度整合對於成本上的控制也有所助益，整個PCB的規模也有助於精簡。此外，SSD的逐漸發展，也將為成為各家RAID廠商的優化議題，尤其以LSI來說，提供的LSI優化方案較為齊全，Advanced Software Options包含了兩項對於SSD的最佳實作，當然這些都是要購買License的，至於其他，被PMC-Sierria買下來的Adaptec先前也提供一種MaxIQ技術，只是這種技術花費成本相當昂貴。而Marvell在較低階的88SE9128也將會提供類似MaxIQ的低成本混合加速技術-HyperHDD，事實上這一顆晶片有整合名為Sheeva的ARM處理器，理論上是可以提供對RAID 5的支持，並且可以透過Port Multiplier方式來使用，所以姑且應該算是一顆Hardware RAID吧。


大致上關於SAS/SATA HBA和RAID HBA，所想到的就這些(以後還想到甚麼再去補..)。接下來就是一些RAID硬體資訊的收集，往後作為備忘查詢之用途XD！
================================================================
參考文獻：
*Hardware RAID vs. Software RAID: Which Implementation is Best for my Application?
*SAS Raid-on-Motherboard: Affordable, High Performance RAID
*Take the Lead with Jasper Forest, the Future Intel®Xeon®Processor for Embedded and Storage
*Intel Explaining Hard Drive Differences
*SAS Integrator Guide
*Serial Attached SCSI Physical layer
*Serial Attached SCSI Link layer – part 2
*Introducing the Dell PERC 6 Family of SAS RAID ControlLers
*An Evolutionary Step for SAS Technology
*Serial Attached SCSI Cables and Connectors
*SERIAL ATTACHED SCSI-A White Paper Prepared for the SCSI Trade Association
*The Benefits of RAID on Motherboard http://www.dell.com/content/topics/g...luse?c=us&l=en
*Port Multipliers http://www.serialata.org/technology/...ultipliers.asp

[per1]

請參閱此頁:
http://www.osslab.org.tw/index.php?t...B3%87%E8%A8%8A

[per1]

這邊作為灌水雜文(草稿).....
用以來作為將來補充文章之備用...XD
Port Multiplier



SAS Standard Layer

SATA 1.0a Standard Layer


ATA/ATAPI-7 standard layering

SATA device connector

SAS plug and backplane receptacle connectors

SATA and SAS Hard Drive Connectors

ROMB


ZCR/MROMB

[per1]

Host Connector與Drive Connecter之間透過一條Cable相連接，Cable的形式決定了Connector的規格。在SATA的標準下，很單純！即為單點對單點，不支援wide port設計，非多點起發者，因此SATA的設計大致上只有看到SATA和eSATA規格。不過在SAS標準下就不一樣了，SAS支持wide port設計，成為多點起發者，作為企業之應用，比起SATA標準有更多的考量。Cable的標準意味著Connector的規格必須一致，SAS下採用SSF委員會所制訂的標準，隨著時代的變化，標準也更著不同。我們針對Connector與Cable規格這部分，大致上歸納三大類：
1.Internal
*SFF-8484：Internal Multilane Connector and Cable
*SFF-8087：Internal Mni Multilane Connector and Cable
2.External
*SFF-8470：External Multilane Connector and Cable
*SFF-8088：External Mni Multilane Connector and Cable
3.Other
*變化型，這類計通常搭配前面兩大類做不同的組合。

在說明各種Cable標準以前，我們不妨來探究一下在SAS協定中的實體層(Physical Layer)，是如何定義Connector訊號，下面的一張圖用來表是為SAS Drive Connector的引腳訊號表：

可以看到提供了兩條實體連接用以提供容錯，這個在之前已經說明過，故不在重述。我們再來看看Host Connector部分，如下圖所示：

從上圖理解得知，大多情況下，Host Connector(非連接backside部分)對應Drive Connector的Primary phy link(Secondary phy link有相關限制)，兩者之間建立起一條narrow link，之前多多少少都會提到wide port和narrow link這兩個字眼，在SAS的規範下是支持wide port設計，這根SATA規範是完全不同的，透過wide port設計可以允許4條narrow link連結到各Storage，從以下的Internal Wide Connector引腳訊號表描述這樣的設計：

可以看到這樣的wide port設計可以支持4條narrow link，並且基於SAS協定中的SMP協定，允許您透過wide port連接到Expander去擴展更多Storage。在那張圖的中間可以看到sideband的部分，這部分可以做為SGPIO訊號的發送輸出，對於使用抽取模組機箱來說，他是極為有用的設計，可以用來控制LED狀態去做判斷，不過使用這個前提就是backplane必須帶有SGPIO輸入，且SAS Cable也必須包含SGPIO輸出接線。

由於wide-port的設計，導致了到現今為止各種不同組合的cable設計，在SCSITA組織提供的一份文件-SAS Integrators Guide，指導了各種cable設計與連接方式，透過這份文件，我們來解釋不同的設計。

在早期SATA HBA是最早被廠商採用的設計，那時SAS還沒有正式出來，在RAID HBA部分，來看Areca的一張IOP331產品-ARC-1120：

這張Cache Memory為DDR333 256MB、IOC為Marvell的，可以看到他支持SATA Port x8，這是一款PCI-X規格產品，因為IOP331面向的Host Bus僅能PCI-X。先不管這款產品性能規格如何，我們先看看他的SATA port配置，這是一種堆疊設計結構，雖然這樣的設計有助於PCB規模的控制，但是也帶來了不必要的麻煩。當連接大量的SATA Storage時，對於整線會造成困擾，且還有SATA port的抽拔問題。比起Areca這款ARC-1120來說，我們來看看更棘手的產品，如下：

這是3ware的一款RAID HBA-3 ware 9550SX-8LP，StorSwitch架構、PPC405CR和G133 RAID Engine，可以看到這款的最大問題在於SATA port的配置，這樣的配置可以說是極為失敗，雖然採用雙面堆疊設計有助於PCB面積的控制，但是SATA port擺的位置實在不佳，除了整線上的困擾，SATA port的抽拔問題更是麻煩，小弟不明白為什麼要這樣設計。而再來看看3ware的另一款RAID HBA產品-3ware 9500S-8：

這是舊款的RAID HBA產品，可以想想早期3ware不少產品都是一堆port，主要在於StorSwitch所展現的優勢，不過看看這款的SATA port是開放式的，也是堆疊結構，在整線上稍微麻煩了些，但是至少抽拔部分不會比前面兩款還難處理，只是要注意的就是安全性問題，因為一不小心就有可能會把Host Port毀損，這是小弟親身體驗過(手賤??)，血淋淋的例子。

在SAS出來之後，Connector規格是由SFF委員會所提出的，在前期SAS所採納的Connector標準，Internal形式部分為SFF-8484；External形式為SFF-8470。這兩種都是一種wide port設計，支持4 narrow links。在SFF-8484標準下，接口採用扇出(fan-out)的形式，這樣的設計，讓Connector會比較寬一些，如下圖所示：

雖然SFF-8484集縮了4條narrow links，但是這樣的扇出設計還是不利於整線，而Connector面積比離散(discrete)的SATA port面積還要大，有些實務設計，反而會增加PCB面積，提升成本。例如以下這張產品：

這是一張LSI的SAS HBA-MegaRAID SAS 8408E。採用IOP333，支持DDR2-400 256MB Cache Memory，IOC部分不用說了，當然是自家的LSI1068。可以看到這張卡的實務設計有一個問題，就是PCB規模部分，由於SFF-8484的設計方式，反而大幅增加對PCB的面積， 提升成本。而且，周遭都有安裝其他HBA的話，在插拔上來說還頗麻煩的，就這些幾乎跟SATA Connector設計一樣的缺陷，因此，微縮化的設計勢在必行，之後提SFF提出了8087標準，也就是很多人常稱呼的Mini-SAS。下面是一張基本的SFF-8484標準的cable：

而這張SFF-8484 cable則是較為高檔的Round Cable，相較於基本款，較有利於整線上的配置：

還有一種則是帶有SGPIO輸出的設計，對於採用背板抽取模組來說，是極為有幫助的，藉由SGPIO，透過SAS Hot Plug Tray帶有LED，可以得知當前的HDD狀態。如下圖：

上圖那張SAS cable作為SFF-8484轉為SFF-8087設計。
先待續=..=晚點很快補...

[mis339]

好文，值得收藏，謝謝分享。

[ivantw]

好文加一，值得閱讀。

[thx]

VXR 大這篇不錯..有空我把這篇文章收入到我們網站,與你一起改寫方便嗎?

我補充一下
(IOP), a dedicated XOR engine
(IOC). I/O controller

PMC Sierra
// HP P410 Raid card

Lsi 跟3ware產品線要分開 !!!! 二家硬體可完全不同

另外(Xeon C5500/C3500[Jasper Forest]) 我個人覺得應該在Linux 下是fake raid..
這可是不小問題..

[per1]

作者: thx

VXR 大這篇不錯..有空我把這篇文章收入到我們網站,與你一起改寫方便嗎?

我補充一下
(IOP), a dedicated XOR engine
(IOC). I/O controller

PMC Sierra
// HP P410 Raid card

Lsi 跟3ware產品線要分開 !!!! 二家硬體可完全不同

另外(Xeon C5500/C3500[Jasper Forest]) 我個人覺得應該在Linux 下是fake raid..
這可是不小問題..

"VXR 大這篇不錯..有空我把這篇文章收入到我們網站,與你一起改寫方便嗎? "
ok.......

Lsi和3ware我有考慮過分開..
但是因為3ware已經被lsi買走了..
所以我就乾脆寫在一塊了...
而且3ware的RAID硬體資訊實在不太好查...
尤其那個稱為P-Chip的IOP...
詳細資訊幾乎找不到..
只知道他有一個Multi-DMA Channel結構的硬線設計，可以說是一個DMA Pool...

"我個人覺得應該在Linux 下是fake raid..
這可是不小問題"..
詢問過...
算是一個Software RAID..
其實性能還是不如Hardware RAID=.=""...

[per1]

3ware部分...
得整個產品一起上..
有幾個原因:
1.關於他的詳細資訊難以尋得=.=""
那顆中間類似IOP之作用的晶片，之前找了很久找半天......
往回從之前的9650SE開始找..
因為是同一架構，這兩張我都有玩過....
終於找到關於他的型號...
只有型號喔...Orz...
http://www.3ware.com/products/pdf/AM..._101906_FN.pdf
G133 RAID Engine...
古老的架構...

2.由於3ware的這種StorSwitch架構的獨特性...
可以說是缺一不可....


Marvell產品可以說是疑點重重
官網上資訊簡陋..
拿doc.看要簽NDA....

[per1]

內容部分排版...
增加一些產品資訊..
增加了對SAS的Dual-Port設計說明....