通过FC光纤通道或iSCSI协议,将磁盘阵列同时映射给两台服务器,并借助多路径软件与集群文件系统实现共享存储。 这既是双机热备架构的基础,也是虚拟化平台后端存储的常见做法,下面从组网方式、硬件连接、配置步骤和排错要点几个层面拆解。
两台服务器共用磁盘阵列的组网方式
要让磁阵同时服务两台服务器,不能直接把磁盘接到两台机器的普通SATA口上,磁盘阵列通常提供两种接入协议,对应不同的硬件需求。
FC-SAN:企业级双机共享的主流选择
FC-SAN使用光纤通道协议,依赖专用的HBA卡(光纤通道主机总线适配器)和光纤交换机,业内专家指出,这种方案在延迟和稳定性上优于以太网存储,数据库等关键业务负载多数情况优先选择FC。
- 每台服务器安装一块或两块FC HBA卡
- 磁阵控制器配置FC前端端口
- 通过光纤线缆将服务器HBA卡连接到光纤交换机,再把交换机连接到磁阵
iSCSI:低成本服务器的简化方案
iSCSI把SCSI命令封装在TCP/IP包里,利用现有万兆以太网基础设施即可,中小型机房的服务器若没配FC卡,用两张万兆网卡加一台千兆/万兆交换机就能完成连接。
- 服务器配置支持iSCSI卸载的网卡
- 磁阵启用iSCSI目标端口
- 交换机推荐配置VLAN隔离存储流量
行业共识认为,两台服务器共享磁阵的真正挑战不在物理链路连通,而在于如何避免两台主机同时读写同一块LUN导致的数据损坏,这需要软件层配合,后文详述。
服务器连接磁盘阵列的光纤链路配置
物理连接只是第一步,以博科(Brocade)光纤交换机环境为例,完整操作路径如下。
确认HBA卡与驱动
在服务器上执行lspci | grep -i fibre(Linux环境),确认系统识别到FC设备,若看不到输出,先检查HBA卡供电线是否插牢,部分服务器需要额外电源线才能为HBA卡供电。
划ZONE
ZONE是FC-SAN里限制设备通信范围的逻辑分区,必须把每台服务器的WWN(全球唯一节点名)和磁阵控制器端口的WWN划进同一个ZONE里,具体操作:
- 登录交换机管理界面
- 在Zone Admin中创建新ZONE,名称建议含业务标识和日期
- 将服务器HBA 1的WWPN和磁阵A控制器的FC端口WWPN加入该ZONE
- 同样方式处理服务器HBA 2与磁阵B控制器端口
WWN绑定核查
服务器连接磁盘阵列时频繁出现“能发现但登录失败”的故障,多半是ZONE里端口选错,FC光模块的WWPN一串字符容易混淆,建议在交换机命令行用zoneshow核对,确认每个ZONE里目标的WWPN是否与服务器端fcinfo查询结果一致。
磁阵双机共享时多路径软件的配置策略
多路径软件的作用是让服务器识别到通往磁阵同一块LUN的多条物理链路(比如两张FC卡),并把它合并成一个虚拟设备,没有多路径软件,系统会看到多个重复的盘符,若分别挂载会损坏文件系统。
Linux环境下的DM-Multipath实操
- 安装设备映射多路径工具:
yum install device-mapper-multipath - 执行
mpathconf --enable生成默认配置 - 编辑
/etc/multipath.conf,将磁阵的vendor字段加入blacklist_exceptions - 运行
service multipathd restart,再用multipath -ll查看合并后的映射设备
注意:部分磁阵型号要求配置path_grouping_policy为group_by_prio,否则负载均衡策略失效,两条路径会一主一备白白浪费带宽。
Windows Server环境下的MPIO配置
- 在服务器管理器里添加“多路径I/O”功能
- 打开MPIO控制面板,选择“Discover Multi-Paths”
- 选中识别到的磁阵设备,添加为DSM设备
- 在磁盘管理器里确认每个LUN只显示一个盘符
磁盘阵列LUN划分与映射要点
LUN是磁阵上划分出的逻辑存储单元,两台服务器共用磁阵时,建议按用途规划LUN:
| 场景模式 | LUN划分策略 | 软件层要求 |
|---|---|---|
| 双机热备 | 每台服务器各一对LUN,互不共享 | 心跳检测配合仲裁盘 |
| 集群文件系统 | 共享一个大LUN,多节点并发读写 | GFS2、OCFS2等集群FS |
| 虚拟化平台 | 按虚拟机存储模板划分多个LUN | VMFS或NFS挂载 |
实名命名与映射规范
在磁阵管理界面创建LUN时,名称建议包含业务模块、容量标识和创建日期,DB_DATA_800G_202601”,映射时注意:
- 只允许授权主机访问对应LUN,通过启动器(Initiator)组实现
- 区分读写权限和只读权限,备份类LUN配置为只读映射
- 从磁阵端回收LUN前,先确认两台服务器都已卸载该盘,否则可能引发系统崩溃
两台服务器挂载同一磁阵的读写仲裁机制
物理链路都通了之后,真正的重点在于软件逻辑层。
双机热备模式下的仲裁盘机制
数据库双机集群(如Oracle RAC)即使由集群件管理共享存储,仍然需要仲裁机制防止“脑裂”,具体做法是给集群配置一个仲裁盘(Quorum Disk),采用SCSI-3 PR(持久预留)协议,确保只有夺到仲裁权的节点能执行写操作。
以常见配置为参考:
- 仲裁盘通常独立于业务数据盘,分配较小的1-2GB空间
- 在集群配置里指定
crsctl add votedisk路径之后,系统会把这个盘格式化为集群专用格式
集群文件系统的并发控制
如果两台服务器不做双机热备,而是要求同时直接读写同一目录(常见于应用需要共享配置文件),此时必须使用集群文件系统,例如Linux下的GFS2。
操作核心:
- 在两台服务器都挂载同一LUN之前,先分区并格式化为GFS2格式
- 使用
mkfs.gfs2 -p lock_dlm -t cluster_name:fs_name创建文件系统 - 添加分布式锁管理器(DLM)启动脚本
特别注意:绝不要在两台服务器上用默认的ext4或XFS文件系统同时挂载同一块裸盘。 不带文件系统锁的直写操作在很短时间就可能让你的数据表损坏到不可恢复。
双机直连模式的替代组网思路
若没有光纤交换机预算,利用服务器双口HBA卡也能实现两台机器与磁阵直连,这种方法不依赖交换机节点,成本可控且链路较少,适合只有两台服务器的小型业务场景。
- 服务器A的FC口1接磁阵控制器A口,服务器B的FC口1接磁阵控制器B口
- 服务器A的FC口2接磁阵控制器B口,服务器B的FC口2接磁阵控制器A口
- 这样形成交叉冗余路径,任一控制器或单根光纤故障,路径可切换
这种拓扑限制在于最多支持两台服务器,扩展性较差,将来增加第三台服务器时仍需购入光纤交换机。
配置后验证与常见故障
连接完成后建议按以下顺序做功能验证:
- 在服务器A上写一个测试文件(如
dd if=/dev/zero of=/mnt/array/test count=100) - 在服务器B的集群管理界面确认该文件实时可见
- 手动重启其中一台服务器,观察另一台的存储连接是否中断
若在两台服务器上看到同一磁盘但无法读写,优先检查光纤线缆是不是单模/多模混用,FC光模块使用多模光纤(OM3/OM4)传输距离约150-300米,误用单模线材可能导致光信号衰减,引发丢包或链路闪断。
常见问题解答
两台服务器可以不通过交换机共用磁阵吗?
可以,使用HBA卡直连方式,将每台服务器的两个FC端口交叉接到磁阵的两个控制器端口上,缺点是这种拓扑不支持扩容第三台服务器,且整体链路可维护性低于使用光纤交换机的方案。
磁阵双机共享需要使用相同操作系统吗?
不强制,但强烈建议统一,Windows和Linux对共享存储的锁机制和集群文件系统支持差异较大,异种系统混用需要额外配置SMB或NFS层协议转发,技术风险较高,同一种操作系统在排障时优先保证官方驱动和补丁版本一致。
服务器操作系统从哪个位置查看LUN对应关系?
Linux环境运行lsblk -o NAME,WWN,SIZE查看每个块设备的WWN标识,Windows环境在磁盘管理器中切换“查看→磁盘设备”,右键查看属性里的“设备ID”,依据WWN与实际LUN名称的对应关系,能最大程度规避挂载错误。
首发原创文章,作者:王坚,如若转载,请注明出处:https://idctop.com/article/801629.html


