pve4.4 zfs on root 不支援 UEFI 開機模式

:::

新聞載入中，請稍後...

13-5 PVE 4.2 嚴重 BUG

13-7 安裝 Qemu Agent - 節省 KVM 使用的記憶體使用量(windows) next

Proxmox VE 4.x 中文初階學習手冊

13-6 pve4.4 zfs on root 不支援 UEFI 開機模式

Proxmox VE 伺服器虛擬化管理平台使用者社團

6月30日 17:22

請教一下各位前輩:
我使用這台機器 SuperStorage Server 6048R-R1CR60L
https://www.supermicro.com.tw/…/…/6048/SSG-6048R-E1CR60L.cfm

我加購了兩顆NVMe Intel P3600 SSD 碟，分別是400G 和800G ，但它們卻沒有辦法在我的 pve 4.4 版上面認出來，請問有人有相關的經驗可分享討論一下嗎？

我詳細的說明一下我的系統環境:
兩顆150G SSD安裝在機殼後方，做為系統碟，使用 zfs raid1
30顆 HDD 另外設一個 zfs dataset
以上32顆碟都有認到，唯獨那兩顆NVMe碟認不到，但在IMPI 裡的 web bios 有認到，但是從console 端按 del 鍵進的 bios 卻認不到 NVMe 那兩顆碟。在 pve4.4 底下也認不到。所以沒辦法用它。已經有跟原廠反應這個問題了。

請問 pve 4.4 這系統應該有支援 NVMe 碟吧？我怎會認不到它呢？

楊金龍雙CPU，與幾顆CPU會有關係嗎？

Ray Tracy 有, 不是每一個 PCIe Slot 都接到每一顆 CPU 上去, 我的機器上面 PCIe 就分兩群, 沒插第二顆的話, 另外一群 Slot 是沒有作用的...

移除

楊金龍哦，我懂你的意思，CPU兩個插槽，都被我填滿了 XD

Ray Tracy 但是從你的主機板 diagram 來看, 他似乎有 NVMe 專用的插槽耶?....我還沒仔細看, 不過原廠好像有賣 NVMe 專用的轉接周邊:

楊金龍是的，要使用它的NVMe還得另外花錢買授權，那不是免費給你用的，而且授權費還不便宜，所以，這種另外花錢的東西，竟然不能用，他們一定得給個交代。花了錢之後，就會幫你安裝另外6個空的專屬插槽，我的那兩個NVMe碟是裝在這裡面的。這部份是有另外花錢買的，所以我確定它這台機器是有支援NVMe的。謝謝雷大的用心，幫我查了這麼多資料!

Ray Tracy 我看到他有 NVMe 專用接口, 你可能要買轉接卡:

楊金龍花錢另外買NVMe授權之後，它會在底下此圖那個空曠的地方裝上6個NVMe插槽
https://www.supermicro.com.tw/....../6048R-E1CR60L_top.jpg

supermicro.com.tw

Ray Tracy 對對對對, 所以他會把主機板上的接口, 接到那個 Bay 上去, 然後你的 NVMe 必須封裝成那個 Bay 的規格, 才能插進去....

這是各大廠綁規的方法, 讓你只能用它們家的 NVMe....

Ray Tracy 看起來都正確, 必須 Call support 問問看了...

楊金龍感謝各位前輩的觀注，尤其感謝 Ray Tracy 的熱心回應，我的這個問題解決了，現在就跟大家分享一下我怎麼解決的。

這台機器的NVMe碟要正常使用，得做一些設定。

(小抱怨一下，美超微原廠出來的預設值是不能使用NVMe碟的哦，所以一定要調整設定，就算你另外花錢買了NVMe授權和模組，他們也不會幫你把設定調整到NVMe碟可用的狀態哦!)

BIOS裡要調整設定:
Advanced → PCIe/PCI/PnP Configuration → CPU2 PCI-E slot1 OPROM 設定為 EFI
會這樣調整是因為主機板上的 NVMe port 共有4個(只能用4個NVMe碟)
而我的NVMe熱抽換插槽卻有6個，多出來的兩個就得另外用一張介面卡接到主機板上面的PCIE插槽上面
而這張介面卡插在哪個PCIE插槽上面也很重要，我是插在離CPU最遠的那個插槽上面
按主機板說明書(Ray Tracy 前面有貼圖了)來看，它是屬於CPU2 SLOT1 PCI-E 3.0 x8 要將它調整成 EFI 才行，不可用 Legacy

楊金龍這樣重開機之後，再進BIOS就可看見NVMe兩顆碟了

還有另外一個重點，我進入了 pve 4.4 之後，仍然看不到這兩顆NVMe碟，後來才知道原因
我之前都是去用此指令來查硬碟數量
ls -al /dev/disk/by-id
總是查不到，計算硬碟代號，總是不對，總是少了兩顆
後來才發現，原來它不是我所想象的 /dev/sdXX 用這樣的代號
改用fdisk -l 指令才看到它的存在了
Disk /dev/nvme1n1: 372.6 GiB, 400088457216 bytes, 781422768 sectors
Disk /dev/nvme0n1: 745.2 GiB, 800166076416 bytes, 1562824368 sectors
↑ 看到了沒有，根本就不是我所想象的 /dev/sdXX 這樣的代號，
這對第一次使用NVMe碟的人來說，根本就是想象不到的事，想去找 /dev/sdXX 完全找不到。

楊金龍額外補充一下，美超微可能會要求你系統開機碟要使用UEFI開機模式，而不要用Legacy....可是我的 pve4.4 zfs on root 根本就不支援 UEFI 開機模式呀!

這一頁寫的很清楚了
https://pve.proxmox.com/wiki/ZFS_on_Linux
簡單一行字，不用再試了
It is not possible to use ZFS as root file system with UEFI boot.

所幸，Legacy 模式開機能正常認到NVMe碟，如果原廠要賴你沒有用UEFI模式來開機，所以你認不到NVMe碟，那我真是一點辦法也沒有呀! O_Q