超融合 Ceph 网络怎么设计？业务网、存储网和迁移网要不要分开
Ceph 网络设计会影响虚拟机 IO 延迟、恢复速度和故障隔离，超融合平台应避免所有流量混在一张网里。
超融合把计算和存储放在同一批节点上，网络设计就非常关键。虚拟机业务流量、Ceph 复制流量、恢复流量、管理流量、迁移流量如果全部混在一张网里，故障时很容易互相影响。
常见建议是至少区分管理网、业务网和存储网。规模较大时，还要单独考虑迁移网和备份网。
Ceph 对延迟和稳定性敏感。恢复或重平衡时，OSD 之间会产生大量流量。如果这些流量挤占虚拟机业务网，用户会直接感知到应用变慢。
设计要点：
- 存储网络优先使用高速链路，例如 25G/40G/100G。
- Bond 模式要结合交换机能力，不要盲目堆链路。
- MTU 要端到端一致，巨帧配置不一致会造成隐蔽故障。
- 存储交换机要监控丢包、错误包和拥塞。
- 恢复流量要设置合理限速，避免抢占业务。
常用排查：
ip -s link
ethtool -S eth0
ceph osd perf
ping -M do -s 8972 <peer>网络问题最麻烦的地方是“看起来没断，但性能很差”。超融合平台上线前，必须做网络压测和故障演练，而不是只确认能 ping 通。
推荐网络分区
小型环境至少建议：
- 管理网：平台管理、SSH、监控。
- 业务网：虚拟机南北向流量。
- 存储网：Ceph public/cluster 或复制流量。
更稳的环境可以把迁移网、备份网单独拆出，避免备份窗口影响业务 IO。
MTU 检查
如果启用 jumbo frame，必须端到端一致。可以这样验证：
ping -M do -s 8972 <peer-ip>
ip link show只在服务器上改 MTU，交换机没改，容易出现大包丢弃、小包正常的隐蔽问题。
故障演练
上线前建议模拟：
- 存储网断一条链路。
- 某节点重启。
- 交换机端口 flap。
- Ceph recovery 时执行业务压测。