# PVE+Ceph 超融合架构解决方案


![PVE+Ceph 超融合架构方案头图](/images/posts/pve-ceph-hci/image5.png)

## 一、方案定位：中小客户的“零负担”IT 基础设施

在虚拟化方案选择中，中小企业往往面临多重选择困境：用 VMware 成本过高，用 OpenStack 运维太难，用 ZStack 虽易用但商业版仍有成本门槛。PVE+Ceph 超融合架构以“开源免费 + 极简架构 + 高可用”为核心，专为解决中小客户的 IT 痛点设计，既能替代传统“服务器 + 存储阵列”的复杂架构，又能规避商业方案的成本陷阱，在与 ZStack 的对比中更凸显“零成本门槛”优势。

## 二、方案核心：计算与存储的“无缝融合”

### 架构逻辑

- 同一集群，双重角色：每台服务器同时作为“计算节点”和“存储节点”，无需单独采购存储设备。
- Proxmox VE（PVE）：负责管理虚拟机、容器和集群资源，提供 Web 图形化操作界面。
- Ceph：作为分布式存储引擎，数据自动多副本存储，支持在线扩容，性能可随节点增加而提升。

### 与竞品的核心差异

| 对比项 | PVE+Ceph | VMware vSphere | OpenStack | ZStack |
| --- | --- | --- | --- | --- |
| 成本 | 开源免费，仅需硬件投入 | 单节点 License 成本高 | 开源免费，但运维成本高 | 开源版免费，商业版按节点收费 |
| 部署难度 | 3 节点集群 1 天内可完成 | 依赖专业工程师 | 需要团队掌握命令行工具 | 图形化部署，半天可完成 |
| 硬件要求 | 支持通用 x86 服务器 | 认证硬件为主 | 兼容性复杂 | 支持通用 x86，兼容性略逊于 PVE |
| 扩容成本 | 新增节点无额外费用 | 每节点需追加 License | 需专业团队调整架构 | 商业版按新增节点收费 |
| 存储深度 | Ceph 与计算层深度融合 | 需搭配额外收费的 VSAN | 需单独集成 Ceph 等存储 | 内置分布式存储，定制能力弱于 Ceph |

## 三、方案优势：中小客户最关心的 5 个问题

### 1. 成本能省多少？

- 对比 VMware：相同规模集群可节省 70% 以上成本，主要来自 License 与专用存储阵列投入的减少。
- 对比 ZStack 商业版：3 节点集群每年可节省数万元授权费用，且无功能限制。
- 对比 OpenStack 长期运维：日常操作可通过 Web 界面完成，无需专职运维工程师。

### 2. 可靠性如何保障？

- 计算层：节点故障时，虚拟机自动迁移到健康节点，业务不中断。
- 存储层：数据默认多副本存储，单节点或单磁盘故障时可自动重建。
- 网络层：支持业务与存储流量分离，10Gbps 网络可保障性能稳定。
- 相比 OpenStack：PVE 与 Ceph 的联动更紧密，故障恢复链路更直接。

### 3. 扩展性是否灵活？

- 横向扩展：新增服务器节点后，计算能力和存储容量同步提升。
- 纵向扩展：单节点可升级内存或更换 SSD，支持平滑扩容。
- 对异构硬件兼容较好，可混用不同品牌服务器逐步扩容。

### 4. 功能是否能满足需求？

- 支持虚拟机与容器混合部署。
- 支持快照备份、异地容灾、网络隔离等核心能力。
- 可完整覆盖中小企业常见 IT 基础设施需求。

### 5. 适用哪些场景？

- 中小企业私有云。
- 分支机构本地化 IT 部署。
- 开发测试环境。
- 预算有限、希望“零成本起步 + 全功能使用”的业务场景。

## 四、详细设计方案

### 1. 整体架构设计

PVE+Ceph 超融合架构采用“计算 - 存储 - 网络”三层融合设计，各层通过软件定义技术实现资源池化。

- 客户端层：终端用户或业务系统通过网络访问虚拟机与容器。
- 网络层：分离业务流量与存储流量，避免相互干扰。
- 计算层：基于 PVE 实现虚拟机、容器生命周期管理和高可用。
- 存储层：基于 Ceph 提供分布式块存储，与计算层深度联动。

#### 3 节点基础集群示例

![3 节点基础集群示意图](/images/posts/pve-ceph-hci/image1.png)

### 2. 计算层（Proxmox VE）设计

PVE 作为计算层核心，负责虚拟机与容器管理、集群调度和高可用。

#### PVE 集群机制

- 通过 `corosync` 协议实现节点间心跳，默认端口为 `5404/5405`。
- 将 3 节点 CPU 和内存聚合为统一的计算资源池。
- 虚拟机磁盘直接映射 Ceph RBD，减少中间层性能损耗。
- 基于 PVE 快照机制与 Ceph RBD 快照联动，支持增量快照。

#### 高可用设计

- 触发条件包括节点故障、虚拟机进程崩溃、存储访问异常。
- 故障检测由 `pve-ha-manager` 配合 `corosync` 完成。
- 通过 fencing 机制释放故障节点资源，避免脑裂。
- 依赖 Ceph 存储一致性，在健康节点重启虚拟机，无需拷贝数据。

### 3. 存储层（Ceph）设计

Ceph 负责提供高可用、可扩展的分布式块存储。

#### 核心组件部署

- MON：3 节点各部署 1 个 MON，形成仲裁机制。
- MGR：1 个活跃节点，其他节点作为备用。
- OSD：每块数据盘对应 1 个 OSD，3 节点合计 9 个 OSD。

#### 数据分布设计

- 通过 CRUSH 规则优先将副本分布在不同节点，避免单节点故障带来连锁影响。
- 建议规划 `vm-disks` 和 `backups` 两类 Pool。
- 核心业务数据使用 3 副本，备份数据可根据容量需求使用 2 副本。
- `vm-disks` 可按 9 个 OSD 规模规划为 128 个 PG。

#### 性能优化设计

- 数据盘建议优先采用 SSD，热数据可优先落在 NVMe。
- 每节点预留系统 SSD 空间给 `block.wal` 与 `block.db`。
- 存储网络建议启用 Jumbo Frame，减少协议开销。

### 4. 网络设计

#### 网络分层与 VLAN 规划

![网络分层与 VLAN 规划](/images/posts/pve-ceph-hci/image2.png)

#### 网络冗余设计

- 业务网可采用双网卡 `bond0`，推荐 `active-backup` 模式。
- 存储网可采用双网卡 `bond1`，推荐 `LACP` 模式，以提升同步带宽。

### 5. 高可用与可靠性设计

#### 故障场景与恢复机制

![故障场景与恢复机制](/images/posts/pve-ceph-hci/image3.png)

#### 数据一致性保障

- Ceph 通过主从副本同步机制保证写入一致性。
- PVE 集群启用 `corosync quorum`，Ceph MON 集群通过多数派维持状态一致。

### 6. 适配中小客户的设计优化

#### 简化运维

- 通过 PVE Web 界面统一管理计算与存储。
- 可预制自动化脚本，降低命令行操作依赖。

#### 低成本适配

- 支持白牌服务器与消费级 SSD 组合。
- 可通过 `osd crush weight` 控制不同性能磁盘的负载分配。
- 针对非核心业务允许适度资源超分，以提升资源利用率。

### 7. 扩展设计

#### 横向扩展

- 新增节点安装 PVE 后，通过 `pvecm add` 加入现有集群。
- 使用 `ceph orch daemon add osd` 部署新磁盘为 OSD。
- CRUSH 规则与资源池会自动纳入新节点。

#### 纵向扩展

- 支持升级单节点内存并自动纳入资源池。
- 替换 SSD 时，可先将旧 OSD 标记下线、迁移数据后再部署新盘。

#### 扩展设计示意

![扩展设计示意](/images/posts/pve-ceph-hci/image4.png)

### 8. 安全设计

- PVE 可通过用户与角色实现权限管理。
- Ceph 可通过 `ceph auth` 控制客户端访问权限。
- Ceph 支持 RBD 磁盘加密，密钥可存放在 PVE 节点的受限目录中。
- 业务网与存储网建议通过 VLAN 严格隔离，并在交换机侧配置 ACL。

## 五、核心价值总结

PVE+Ceph 超融合架构在与 ZStack 的对比中，以“全功能开源免费”和“存储深度优化”脱颖而出，让中小企业无需为功能付费，也无需妥协性能。

- 花小钱办大事：用通用硬件搭建接近商业方案能力的 IT 基础设施。
- 少操心多做事：统一管理、简化运维，比 OpenStack 更容易落地。
- 随需而变：从 3 节点起步，平滑扩容，适配业务增长。

如果你的目标是在预算可控的前提下，构建一套稳定、可扩展、易维护的私有云基础设施，那么 PVE+Ceph 是一条非常务实的落地路径。


---

> 作者: [小磊哥](https://github.com/Venice851007)  
> URL: /posts/2026-pve-ceph-hci-solution/