分布式块存储通过副本机制（Replication）或纠删码（Erasure Coding, EC）技术，在多个物理节点或机架间实现数据的多份存储或分片校验，从而在硬件故障发生时确保数据的完整性与业务的连续性。
分布式块存储如何实现高可用
在分布式架构中,单点故障是不可避免的，为了实现高可用，系统必须具备在部分硬件（如磁盘、服务器、交换机）损坏时，依然能够提供数据访问的能力，实现这一目标的核心在于如何科学地分配冗余数据。
基于副本机制的冗余策略
副本机制是目前应用最广泛的冗余方式,其核心逻辑非常直观：将同一份数据完整地复制多份，并存储在不同的物理节点上。
- 工作原理：当用户发起写入请求时，系统会将数据同步写入预设数量的副本中（通常为3副本），只有当所有副本都写入成功后，系统才会向客户端返回“写入成功”的确认信号。
- 故障处理：如果其中一个节点发生宕机，系统会自动将请求路由到剩余的健康副本节点，业务几乎感知不到中断。
- 适用场景：由于副本机制对计算资源的需求极低，它非常适合对写入延迟极其敏感的场景，例如关系型数据库（MySQL、PostgreSQL）的底层存储。
基于纠删码（EC）的冗余策略
随着数据规模的爆发式增长,传统的副本机制由于存储空间利用率过低，面临巨大的成本压力，纠删码技术应运而生，它通过数学算法（如 Reed-Solomon 算法）将数据切分成 $k$ 个数据块，并计算出 $m$ 个校验块。
- 工作原理：存储的总块数为 $k+m$，只要集群中存活的块数大于或等于 $k$，就可以通过数学运算还原出原始数据。
- 存储效率：相比于 3 副本带来的 200% 额外开销，纠删码可以将额外开销降低到极低水平，在 $10+4$ 的配置下，存储开销仅为 40%。
- 性能权衡：纠删码在读取数据时非常高效，但在发生故障需要进行“数据重构”时，需要消耗大量的 CPU 资源进行复杂的数学运算，且会产生大量的网络流量。
故障域（Failure Domain）的设计逻辑
无论使用哪种冗余技术,如果所有的副本或校验块都落在同一个机架上，一旦机架交换机故障，整个存储集群将面临数据丢失的风险。
- 机架感知（Rack-aware）：业内专家指出，成熟的分布式存储系统必须具备机架感知能力，在分配冗余数据时，算法会强制要求副本或分片分布在不同的机架（Rack）甚至不同的数据中心（AZ）中。
- 节点隔离：通过将数据分布在不同的电源模块和网络路径上，可以有效规避单点物理故障导致的系统性崩溃。
分布式块存储冗余机制对比
为了更直观地理解不同冗余技术的差异,下表展示了在典型生产环境下的性能与成本表现。
| 特性指标 | 副本机制 (Replication) | 纠删码 (Erasure Coding) |
|---|---|---|
| 存储空间利用率 | 较低 (典型值为 33.3%) | 极高 (取决于 k+m 配置) |
| CPU 计算开销 | 极低 | 较高 (涉及数学运算) |
| 写入延迟 | 低 (响应速度快) | 较高 (需计算校验位) |
| 故障恢复速度 | 快 (直接拷贝数据) | 较慢 (需计算重构) |
| 数据可靠性 | 高 | 高 (可配置更高的容错等级) |
| 核心应用场景 | 高频 IO、数据库、热数据 | 海量冷数据、备份、对象存储 |
实际场景中的分布式块存储冗余方案选择
在实际的架构设计中,很少有企业会采用“一刀切”的冗余方案，行业共识认为，构建分层存储架构是平衡性能与成本的最优解。
金融级业务的高可靠需求
在处理银行交易、核心账务等业务时，数据一致性和极低延迟是第一优先级。
- 策略选择：此类场景通常采用 3 副本机制。
- 原因分析：金融业务对 IOPS（每秒输入输出操作次数）要求极高，纠删码在写入时的计算延迟和重构时的性能抖动是无法接受的，通过 3 副本，可以在保证数据安全的前提下，提供最稳定的读写性能。
海量冷数据存储的成本优化
在互联网视频、日志分析或科研大数据场景下，存储容量的增长速度往往超过了预算的增长速度。
- 策略选择：此类场景倾向于使用 纠删码 (EC)。
- 原因分析：对于访问频率较低的“冷数据”，写入延迟并不敏感，但存储成本是核心痛点，通过使用 $k+m$ 的纠删码配置，可以在保证数据不丢失的前提下，大幅度降低硬件采购成本。
落地实施：配置分布式块存储冗余的具体步骤
在部署分布式存储系统（如 Ceph 或其他企业级存储软件）时，合理的配置路径直接决定了系统的稳定性。
确定故障域层级
在初始化集群时,首先要定义系统的逻辑拓扑结构。
- 定义节点层级：在配置文件中明确
host、rack、row、datacenter的层级关系。 - 配置感知策略：确保冗余算法能够识别这些层级，在 Ceph 中，通过
crush map来定义数据分布规则，确保副本不会落在同一个rack下。
配置冗余策略参数
根据业务类型,在存储池（Pool）级别进行参数设置。
- 设置副本数
：
- 对于热数据池,执行类似
set size 3的操作。
- 对于热数据池,执行类似
- 设置纠删码参数：
- 对于冷数据池,配置
k值（数据块数）和m值（校验块数）。 - 操作路径示例：在管理控制台中，选择“创建存储池” $rightarrow$ “选择纠删码模式” $rightarrow$ “输入 K=10, M=4” $rightarrow$ “应用配置”。
- 对于冷数据池,配置
监控与自动化修复流程
冗余机制的价值在于“自动修复”，当系统检测到磁盘损坏时，应遵循以下路径：
- 故障检测：心跳机制发现节点失联或磁盘 I/O 错误。
- 状态变更：系统将受影响的数据块标记为
degraded（降级状态）。 - 自动重构：
- 副本模式：系统从健康节点读取数据，直接写入新节点。
- EC 模式：系统从剩余的 $k$ 个块中读取数据，通过数学运算还原丢失的数据，并写入新节点。
- 一致性校验：重构完成后，系统执行 Scrubbing（擦洗）操作，确保新旧数据完全一致。
分布式块存储冗余常见问题解答
分布式块存储冗余成本如何计算？
计算公式可以简化为：总存储需求 $times$ (1 + 冗余系数)。
对于 3 副本，冗余系数为 2，即总需求为原始数据的 3 倍；对于 $10+4$ 纠删码，冗余系数为 0.4，即总需求为原始数据的 1.4 倍。
纠删码在分布式块存储中会导致性能下降吗？
会，主要体现在两个方面：一是写入时需要进行额外的计算，增加了 CPU 负载和写入延迟；二是当发生磁盘故障需要数据重构时，会产生大量的网络带宽消耗和 CPU 计算压力，可能影响在线业务的响应速度。
副本数设为多少最合适？
这取决于业务对可靠性和成本的权衡,对于核心生产环境，3 副本是行业公认的标准配置，它能在容忍两个节点同时故障的情况下保持数据可用，且性能表现最均衡。
首发原创文章，作者：世雄 - 原生数据库架构专家，如若转载，请注明出处：https://idctop.com/article/490262.html
