MarkDown
底下是測試報告:
| 格式 | 組數 | 硬碟數 | 可用總容量 | 寫MB/s | 讀MB/s | 備註 |
| raidz3 | 1 | 28 | 22T | 541 | 700 | |
| raidz3 | 2 | 14 | 20T | 566 | 769~780 | |
| raidz3 | 4 | 7 | 14T | 525 | 751 | |
| raidz2 | 1 | 28 | 23T | 548 | 718 | |
| raidz2 | 2 | 14 | 21T | 566~580 | 823~830 | 註1 |
| raidz2 | 3 | 9 | 19T | 539 | 542 | 註2 |
| raidz2 | 4 | 7 | 18T | 544 | 906 | |
| raidz1 | 1 | 28 | 24T | 551 | 692 | |
| raidz1 | 2 | 14 | 23T | 576 | 880 | |
| raidz1 | 4 | 7 | 21T | 565 | 889 | |
| raid0 | 1 | 28 | 25T | 592 | 1126 | 註3 |
| mirror | 1 | 28 | 899G | 202 | 585 | |
| mirror | 2 | 14 | 1.8T | 441 | 652 | |
| mirror | 14 | 2 | 13T | 579 | 939 | 註4 |
註1:因考慮用raidz2 2組\*14顆這樣的組合，所以測了兩次以上。其實不只raidz2其它組合每次測的數字都不太一樣，因此只能取個範圍值。
註2:3組\*9顆硬碟=共27顆硬碟，沒錯少一顆硬碟沒用上。
註3:raid0無法分組別，也無資料保護，因此實務上不太會這樣用，在此是純測速用
註4:mirror 14組\*2顆 它的速度接近raid0了，至於1組mirror裡面超過兩顆以上的硬碟其實意義不大，讀寫效能都很差。
心得:之前看到這個[官方建議](https://www.freebsd.org/doc/zh_TW/books/handbook/zfs-term.html#zfs-term-vdev-cache)，單一個vdev不要超過9個硬碟，經我實測的結果，發現這個建議好象沒有什麼用，超過9個硬碟的效能一樣好，沒有太大效能損失。若你不需要那麼多的儲存空間的話，而又需要資料有比較安全的保護，會推薦你使用 mirror 14組\*2顆 這樣子的組合，效能接近 raid0 ，若比較需要多一點儲存空間的話，那會建議你使用 raidz2 2組\*14顆 這樣的組合。
至於raidz1 (同raid5)，若你的資料很重要的話，不管是哪樣的組合都不推薦你使用，雖然它的效能跟可用空間看來都不錯，但因為它只允許一顆硬碟壞掉，這很危險。在實際使用上，我們的硬碟大多都是同一時期買進的，當用了一段時間之後，出現第一顆硬碟故障時，也差不多是其它硬碟要到壽了，此時你將一顆新硬碟替換上去時，其它的硬碟為了要同步資料，就開始被狂操，而那些快到壽的硬碟很有可能就被你操掛了，因此在第一顆新硬碟還未同步完，就又出現第二顆硬碟故障，那你整個raid的資料就會死掉。而在 zfs raidz1 裡，不管是兩組raidz1或是4組 raidz1 只要其中一組 raidz1 同時壞兩顆硬碟，那你整個儲存池(pool)會被退出。
上述的測試報告，有網友提醒我有效能不足的問題，因此我又做了不同的測試###
mdadm raid0 測試
我擔心有可能是zfs效能不足的問題，因此我把 zfs 毀了，改用 mdadm 來建 raid0 測試
mdadm建raid0指令和測試指令參考:
底下是 mdadm raid0的測試報告
| 硬碟數量 | 28顆 | 13顆 | 8顆 | 4顆 |
| 寫入速度 | 1.3GB/s | 976 MB/s | 919 MB/s | 876 MB/s |
注意上面的硬碟數，從最少的看起4顆就有876MB/s，但可不是隨著硬碟越多，速度就會跟著往上升...跟什麼因素有關，目前我不清楚。
網友提醒我 zfs pool 預設的 record size 是 128kb，可參閱[此頁](http://blog.programster.org/zfs-record-size/)。建議我的dd測試指令可改用128kb來測試看看。
1kb=1024bytes
128kb → 1024\*128 = 131072 bytes
256kb → 1024\*256 = 262144 bytes 因此我們的測試指令改為
寫入測試指令
dd if=/dev/zero of=/vic2/file.out bs=131072 count=40000 &
上面的bs=131072 可簡寫成 bs=128k
讀取測試指令
dd if=/vic2/file.out if=/dev/zero bs=131072 &
測出來的寫入速度
raid0 有達到最高3GB/s
mirror 2顆\*14組 達 2.5GB/s
但是讀取速度就少的可憐了，都只有11MB/s
由於效能最好的raid0跟mirror測出來的讀取速都只有11MB/s這麼低，因此就不多做其它組合的測試了，意義不大。
####
測試結論
使用dd 指定 bs=128k 的方式來測寫入速度，請參考下圖
上圖是使用此指令 zpool iostat vic2 -v 1 來看的。
3.5" HDD 7200轉的傳輸速率在 65~115MB/s 之間，上圖的每顆單碟的速度都接近100MB/s了，這個128k的寫入測試，可說是把單碟的最高效能給逼出來了。
2.64GB/s 這數字是浮動的，我看到最高達 3GB/s ，總共28顆硬碟，也就是說單碟速度有超過 100MB/s。
此測試報告主要是要確認此台主機硬體的架構沒有問題即可，之前我擔心是否SAS卡或背板(expander)頻寬有效能不足的問題，經此測試確認了沒有效能不足的問題之後，就可安心使用了。美超微有針對我這台機器提供了測試報告給我，我這台機器背板的頻寬上限是6GB/s 他的測試是大約在25顆左右的硬碟數量即達此極限。
5-1-3 管理與維護