17-21 ceph要七台主要的考量

https://www.facebook.com/groups/pve.tw/permalink/756223614546202/?comment_id=756242141211016&comment_tracking=%7B%22tn%22%3A%22R2%22%7D

ceph 的問題在 latency 很高 所以 你如果要運行超高速 db 的話 非常不合適喲 除非你是使用 nvme ssd
然後 ceph storage 我建議 7台起跳開始

https://www.facebook.com/groups/pve.tw/permalink/756223614546202/?comment_id=756500187851878&comment_tracking=%7B%22tn%22%3A%22R%22%7D

ceph 要七台主要是以下幾個考量
.
redundancy (備容）
performance (效能 特別是當一個 node 出問題時下線）
.
scale out storage 要 node 數量多 不一定要 單一 node 特別強 , 所以如果你還有舊的 node 可以上的話 建議你 找出來. 再來就是 一個 thread 可以 處理一顆 hdd 的模式來規劃一個 node 有幾顆 HDD
.
你的單一node配置都很強大, 感覺 computing 非常強大, 但是在 storage 這邊 不知道你的環境是需要多大的 容量的儲存空間？ 怎麼看都覺得是 3tb 以下

我如果先完成這四台平台建置，就可逐漸將其他服務轉移進來，如此就可再+1 再+1，直到七台 八台的PVE+ceph環境。

可以慢慢加上去的

請教你，我主要是期望PVE+Ceph 能達到 hyper converge架構，既有多台資源重新整合，降低單點架構故障風險，我是否有認知上的誤解呢？

沒有誤解 方向正確 但是實際建制有難度 特別是 ceph storage 這部分 以及你的 db 效能要很注意 （盡量 ssd) 不然 有 hyper convergence 架構 但是 效能服務出不來 那麼也是白搭
ceph network 要求 一個 ceph server lan 一個 ceph client lan 而且是以 10gbe 為主 這個就是為什麼我看過很多 ceph storage 都是 afa (ata = all flash array (all ssd))

在Ceph部份，每台應該要搭配SSD沒錯吧？
至於能否上DB，難免端看整體效能是否接受。但如放置些Lab性質系統，倒是可以。

你的Node效能落差太大了，E5504 2009年的產品，是我會直接用local storage上SSD，花大錢在Ceph上，node不夠多性能又拉不上來，你還要花很多時間去tume crush map

可以啦 就是 e5504不要跑太多 ods 難度在 crush map 的調試 但是真的建議要有7個node

glusterfs 小心小心 我有使用它 但是不夠瞭解它的人要慢慢使用上去 gfs 對網路要求更加高！不建議新手一頭栽進去 以 redhat ceph + glusterfs 老爸的說法 glusterfs 適合 hadoop, ceph 適合 share storage/vm