RAID卡管理工具使用

RAID 基本概念

由于现代数据中心业务量的与日俱增，单台服务器上需要运行的数据也日益增多。当

单个物理磁盘在容量和安全性上不足以支持系统业务时，就需要将多个磁盘以某种特

定方式组合起来，对外作为一个可见的磁盘来使用，才可满足实际需要。磁盘组，就

是将一组物理磁盘组合起来，作为一个整体对外体现，是虚拟磁盘的基础。

虚拟磁盘，即使用磁盘组划分出来的连续的数据存储单元，相当于一个个独立的磁

盘，通过一定的配置，使其具有比单个物理磁盘更大的容量，及更高的安全性和数据

冗余性。

一个虚拟磁盘可以是：

● 一个完整的磁盘组。

● 多个完整的磁盘组。

● 一个磁盘组的一部分。

● 多个磁盘组的一部分（每个磁盘组划分一部分，共同组成虚拟磁盘）。

RAID控制器两个阵营

Broadcom (Avago)

2005年12月2日HP的安捷伦半导体事业部宣布更名为安华高科技（Avago Technologies）。
2013年12月17日Avago斥巨资66亿美元收购收购存储芯片制造商LSI;

2015年5月，Avago再下一城370亿美元收购博通(Broadcom)，并且更名Broadcom，这也就是Broadcom (Avago)的由来。

Microsemi

2010年5月10日PMC-Sierra 3400万美元收购了Adaptec渠道存储业务。
2014年到2015年，美高森美集成电路（Microsemi）收购了以通信和数据中心为重点的公司包括：Mingoa，Centellax，Vitesse，PMC-Sierra。

常见RAID卡型号

以华为服务器为例，LSI  2208//3108，PM8060/8068, Avago MegaRAID SAS 9440-8i/9440-16i，MSCC SmartRAID 3152-8i/SmartHBA 2100-8i。

系统下raid卡管理工具为两种，Avago厂商为MegaRAID Storcli，Microsemi为Arcconf。

工具使用

1、StorCLI工具

StorCLI的安装路径为/opt/MegaRAID/storcli/，需进入该目录后执行RAID控制卡相关

命令。

（1）查询RAID 卡/RAID 组/物理硬盘信息

storcli64 /ccontroller_id show

storcli64 /ccontroller_id/eenclosure_id/sslot_id show all

storcli64 /ccontroller_id/vvd_id show all

controller_id 硬盘所在RAID卡的ID 可以将该参数设置为all，表示查询该工具可管理的

所有控制器的ID

enclosure_id 硬盘所在Enclosure的ID 可以将该参数设置为all，表示查询该工具可管理的

所有控制器连接的硬盘背板的ID

slot_id 物理硬盘槽位编号可以将该参数设置为all，表示查询所有硬盘的ID

vd_id 虚拟磁盘ID 可以为all，表示查询所有虚拟磁盘信息。

示例：

查询raid卡信息

[root@localhost]# ./storcli64 /c0 show

Generating detailed summary of the adapter, it may take a while to complete.

CLI Version = 007.0504.0000.0000 Nov 22, 2017

Operating system = Linux 4.19.36-vhulk1907.1.0.h453.eulerosv2r8.aarch64

Controller = 0

Status = Success

Description = None

Product Name = AVAGO MegaRAID SAS 9460-8i

Serial Number = SP01022668

SAS Address = 500062b206129f00

PCI Address = 00:01:00:00

System Time = 11/13/2019 04:33:58

Mfg. Date = 03/12/20

Controller Time = 11/13/2019 09:33:56

FW Package Build = 51.13.0-3223

BIOS Version = 7.13.00.0_070D0300

FW Version = 5.130.00-3059

Driver Name = megaraid_sas

Driver Version = 07.713.02.00

Current Personality = RAID-Mode

……

查询s0信息

[root@localhost]# ./storcli64 /c0/e252/s0 show all

CLI Version = 007.0409.0000.0000 Nov 06, 2017

Operating system = Linux3.10.0-514.el7.x86_64

Controller = 0

Status = Success

Description = Show Drive Information Succeeded.

Drive /c0/e252/s0 :

EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp Type

252:0 48 Onln 0 744.125 GB SATA SSD N N 512B INTEL SSDSC2BB800G4 U -

查询vd0信息

[root@localhost]#. /storcli64 /c0/v0 show all

Controller = 0

Status = Success

Description = None

/c0/v0 :

DG/VD TYPE State Access Consist Cache sCC Size Name

1/0 RAID1 Optl RW Yes RWTD - 1.089 TB

Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially Degraded|dgrd=Degraded

Optl=Optimal|RO=Read Only|RW=Read Write|B=Blocked|Consist=Consistent|

R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack|

AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled

Check Consistency

PDs for VD 0 :

EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp

25:22 14 Onln 1 1.089 TB SAS HDD N N 512B ST1200MM0007 U

25:23 26 Onln 1 1.089 TB SAS HDD N N 512B ST1200MM0007 U

（2）查询和设置物理硬盘初始化功能

storcli64 /ccontroller_id/eenclosure_id/sslot_id action initialization

enclosure_id为硬盘背板id，slot_id为硬盘槽位id，均可在查询raid卡配置信息回显中获取。

action为要执行的操作，可选为show、start、stop。

示例：

初始化s3硬盘

domino:~# ./storcli64 /c0/e252/s3 start initialization

Controller = 0

Status = Success

Description = Start Drive Initialization Succeeded.

查询初始化进度

domino:~# ./storcli64 /c0/e252/s3 show initialization

Controller = 0

Status = Success

Description = Show Drive Initialization Status Succeeded.

Drive-ID Progress% Status Estimated Time Left

/c0/e252/s3 0 In progress 0 Seconds

（3）创建和删除RAID

storcli64 /ccontroller_id add vd rlevel size=capacity drives=enclosure_id:slot_id |enclosure_id:startid-endid,enclosure_id:slot_id | enclosure_id:startid-endid

[pdperarray=pdperarray]

storcli64 /ccontroller_id/vraid_id del

level 要配置的RAID组级别可为0、1、5、6、10、50、60，数字分别代表对应的RAID组级别

capacity 要配置的RAID组容量

startid-endid 要加入RAID组的硬盘的起始和结束ID

slot_id 要加入RAID组的硬盘ID

pdperarray 子组中的硬盘数。创建RAID10、RAID50、RAID60时，需要设置此参数，创建其他级别的RAID组时，不需要设置此参数

raid_id 要删除的RAID组的ID

当加入到RAID组的中硬盘为多个硬盘时，需要使用逗号隔开，单个槽位硬盘表示为enclosure_id:slot_id，连续槽位的硬盘表示为：enclosure_id:startid-endid。

示例：

创建raid0

domino:~# ./storcli64 /c0 add vd r0 size=100GB drives=252:0-3

Controller = 0

Status = Success

Description = Add VD Succeeded

删除raid

./storcli64 /c0/v0 del

Controller = 0

Status = Success

Description = Delete VD Succeeded

（4）设置RAID 组的Cache 读写属性

storcli64 /ccontroller_id/vraid_id set wrcache=mode

mode Cache读写模式

● wt：当磁盘子系统接收到所有传输数据后，控制器将给主机返回数据传输完成信号。

● wb：控制器Cache收到所有的传输数据后，将给主机返回数据传输完成信号。

● awb：在RAID卡无电容或电容损坏的情况下，强制使用“wb”模式。

示例：

设置Cache读写模式为“wt”。

domino:~# ./storcli64 /c0/v0 set wrcache=wt

Controller = 0

Status = Success

Description = None

Details Status :

VD Property Value Status ErrCd ErrMsg

0 wrCache WT Success 0 -

（5）手动重构RAID

storcli64 /ccontroller_id/eenclosure_id/sslot_id insert dg=DG array=Arr row=Row

storcli64 /ccontroller_id/eenclosure_id/sslot_id start rebuild

DG 硬盘发生故障的DG的ID

Arr 硬盘发生故障的Array的ID

Row 硬盘发生故障的Array的row number

1. 通过./storcli64 /c0 show 命令，查询故障硬盘的DG、Arr和Row所对应的数字。

2.通过storcli64 /ccontroller_id/eenclosure_id/sslot_id insert dg=DG array=Arr

row=Row 命令，将硬盘加入RAID组。

3.执行storcli64 /ccontroller_id/eenclosure_id/sslot_id start rebuild命令，手动重构

RAID。

示例：

将硬盘加入RAID组。

[root@localhost ~]# storcli64 /c0/e252/s1 insert dg=0 array=0 row=0

CLI Version = 007.0504.0000.0000 Nov 22, 2017

Operating system = Linux 3.10.0-693.el7.x86_64

Controller = 0

Status = Success

Description = Insert Drive Succeeded.

手动重构RAID。

[root@localhost ~]# storcli64 /c0/e252/s1 start rebuild

CLI Version = 007.0504.0000.0000 Nov 22, 2017

Operating system = Linux 3.10.0-693.el7.x86_64

Controller = 0

Status = Success

Description = Start Drive Rebuild Succeeded.

（6）查询超级电容的相关信息

storcli64 /ccontroller_id/cv show all

示例：

[root@localhost ~]# ./storcli64 /c0/cv show all

CLI Version = 007.0409.0000.0000 Nov 06, 2017

Operating system = Linux3.10.0-514.el7.x86_64

Controller = 0

Status = Success

Description = None

当回显信息的“State”显示为“FAILED”时，需更换超级电容

（7）设置硬盘直通功能

storcli64 /ccontroller_id set jbod=state

storcli64 /ccontroller_id/eenclosure_id/sslot_id set JBOD

state RAID卡JBOD功能的使能情况  on/off

示例：

使能RAID卡的硬盘直通功能，并设置slot 7硬盘为直通盘。

domino:~# ./storcli64 /c0 set jbod=on

Controller = 0

Status = Success

Description = None

Controller Properties :

Ctrl_Prop Value

JBOD ON

domino:~# ./storcli64 /c0/e252/s7 set JBOD

Controller = 0

Status = Success

Description = Set Drive JBOD Succeeded

（8）查看/导入/清除外部配置

storcli64 /ccontroller_id/fall import preview

storcli64 /ccontroller_id/fall import

storcli64 /ccontroller_id/fall delete

示例：

查看RAID卡的外部配置。

[root@localhost ~]# ./storcli64 /c0/fall import preview

CLI Version = 007.0504.0000.0000 Nov 22, 2017

Operating system = Linux 3.10.0-957.el7.x86_64

Controller = 0

Status = Success

Description = Operation on foreign configuration Succeeded

FOREIGN PREVIEW :

DG=Disk Group Index|Arr=Array Index|Row=Row Index|EID=Enclosure Device ID

DID=Device ID|Type=Drive Type|Onln=Online|Rbld=Rebuild|Dgrd=Degraded

Pdgd=Partially degraded|Offln=Offline|BT=Background Task Active

PDC=PD Cache|PI=Protection Info|SED=Self Encrypting Drive|Frgn=Foreign

DS3=Dimmer Switch 3|dflt=Default|Msng=Missing|FSpace=Free Space Present

TR=Transport Ready

Total foreign drive groups = 0

删除RAID卡的外部配置。

[root@localhost ~]# ./storcli64 /c0/fall delete

CLI Version = 007.0504.0000.0000 Nov 22, 2017

Operating system = Linux 3.10.0-957.el7.x86_64

Controller = 0

Status = Success

Description = Successfully deleted foreign configuration

2、ARCCONF工具

（1）查询RAID 卡、物理硬盘、Array、LD、maxCache的基本信息

arcconf getconfig controller_id AD        查询适配器信息

arcconf getconfig controller_id LD        查询所有LD的信息

arcconf getconfig controller_id LDLD_id   查询特定LD的信息

arcconf getconfig controller_id PD        查询所有物理硬盘的信息

arcconf getconfig controller_id PD physical_id   查询特定物理硬盘的信息

arcconf getconfig controller_id AR         查询所有Array的信息

arcconf getconfig controller_id AR AR_id    查询特定Array的信息

arcconf getconfig controller_id MC         查询maxCached的信息

controller_id 硬盘所在RAID卡的ID

LD_id LD的ID

physical_id 硬盘的physical编号

slot_id 物理硬盘槽位编号

AR_id Array的ID

查询所有Array的信息。

示例：

[root@localhost ~]# ./arcconf getconfig 1 ar

Controllers found: 1

Array Information

Array Number 0

Name : A

Status : Ok

Interface : SATA SSD

Total Size : 305152 MB

Unused Size : 204800 MB

Block Size : 512 Bytes

Array Utilization : 32.77% Used, 67.23% Unused

Type : Data

Transformation Status : Not Applicable

Spare Rebuild Mode : Dedicated

SSD I/O Bypass : Disabled

Array Logical Device Information

Logical 0 : Optimal (1, Data, 49999 MB) LogicalDrv 0

Array Physical Device Information

查询所有LD的基本信息。

[root@localhost ~]# ./arcconf getconfig 1 ld

Controllers found: 1

Logical device information

Logical Device number 0

Logical Device name : LogicalDrv 0

Disk Name : /dev/sdd

Block Size of member drives : 512 Bytes

Array : 0

RAID level : 1

Status of Logical Device : Optimal

Size : 49999 MB

Stripe-unit size : 256 KB

Full Stripe Size : 256 KB

Interface Type : SATA SSD

Device Type : Data

Boot Type : None

Heads : 255

Sectors Per Track : 32

Cylinders : 12549

（2）设置RAID 卡工作模式

3152-8iRAID卡支持三种工作模式，具体如下：

RAID模式：控制器下的逻辑盘会上报OS，但直通盘不会报送给OS。

HBA模式：控制器的所有RAID功能都被禁用，控制器下所有硬盘都被视为直通

盘。

Mixed模式：RAID逻辑盘和直通盘都会报送给OS。

默认为“Mixed”模式。

mode     2：设置为HBA模式。 3：设置为RAID模式。 5：设置为Mixed模式。

arcconf setcontrollermode controller_id mode

示例：

设置RAID卡工作模式为“Mixed”。

[root@localhost ~]# ./arcconf setcontrollermode 1 5

Controllers found: 1

Command completed successfully

查询RAID卡工作模式。

[root@localhost ~]# arcconf getconfig 1

Controllers found: 1

Controller information

Controller Status : Optimal

Controller Mode : Mixed

Channel description : SCSI

Controller Model : MSCC Adaptec SmartRAID 3152-8i

Controller Serial Number : 7A45F30016A

（3）使能和关闭LD 的cache 功能

arcconf setcache controller_id logicaldrive LD_id con

arcconf setcache controller_id logicaldrive LD_id coff

示例：

使能LD0的cache功能。

[root@localhost ~]# arcconf setcache 1 logicaldrive 0 con

Controllers found: 1

Cache mode is already set to Enabled.

Command aborted.

关闭LD0的cache功能。

[root@localhost ~]# arcconf setcache 1 logicaldrive 0 coff

Controllers found: 1

Command completed successfully.

（4）创建和删除RAID

arcconf  create  controller_id  logicaldrive [options]  level    [channel# ID#]

arcconf delete controller_id logicaldrive ld_id noprompt

示例：

创建raid1，默认快速初始化

[root@localhost ~]#arcconf  create 1 logicaldrive max 1 0 8 0 9

Controllers found: 1

Space will be wasted as devices specified are of different sizes.

Do you want to add a logical device to the configuration?

Press y, then ENTER to continue or press ENTER to abort: y

Creating logical device: vd1

Command completed successfully.

删除ID为0的虚拟磁盘。

[root@localhost ~]# arcconf delete 1 logicaldrive 0 noprompt

Controllers found: 1

WARNING: Deleting this logical device will automatically delete array 0 because it is the only logical device

present on that array.

All data in logical device 0 will be lost.

Deleting: logical device 0 ("Logical Drive 1")

arr

Command completed successfully.

（5）查询和设置硬盘写Cache 策略

arcconf getconfig controller_id ad

arcconf setcache controller_id drivewritecachepolicy drivetype cachepolicy

drivetype cachepolicy...

drivetype 要设置写Cache策略的硬盘类型

● Configured：设置RAID/Mixed模式下RAID组成员盘的写Cache策略。

● Unconfigured：设置RAID/Mixed模式下非RAID组成员盘的写Cache策略。

● HBA：设置HBA模式下硬盘的写Cache策略。

cachepolicy 硬盘写Cache策略

● 0：Default（将硬盘的写Cache保持为默认状态）

● 1：Enabled（打开硬盘的写Cache功能）

● 2：Disabled（关闭硬盘的写Cache功能）

设置Configured状态的硬盘Cache写策略为Enabled，设置Unconfigured状态的硬盘

Cache写策略为Disabled。

[root@localhost ~]# ./arcconf setcache 1 drivewritecachepolicy Configured 1 Unconfigured 2

Controllers found: 1

Enabling controller drive write cache can increase write performance but risks losing the data in the cache

on sudden loss.

Command completed successfully.

查询当前的硬盘写Cache策略

[root@localhost ~]# ./arcconf getconfig 1 ad

Controllers found: 1

Controller information

Controller Statue : Optimal

Controller Mode :Mixed

Channle description :SCSI

Physical Drive Write Cache Policy Information

Configured Drives :Enabled

Unconfigured Drives :Disabled

HBA Drives :Default

3、常见问题：

（1）、LSI raid卡硬盘因误操作被热插拔后告警，此时硬盘被标记为Foreign，需手动清除或导入外部配置。

若为单盘raid0，可导入外部配置，若为其他raid级别，建议清除外部配置后，手动重构。

（2）、LSI raid卡，raid1/5双盘故障，raid失效场景下，可尝试手动设置最后故障硬盘状态为Ugood，更换硬盘尝试重构。