Создание и установка на RAID

При установке дистрибутивов ALT Linux (как серверных, так и настольных) вы можете создать RAID-массив и установить дистрибутив на него. Такой массив позволит вам продолжить работу даже при выходе одного диска из строя.

Для создания RAID вам потребуются минимум два одинаковых жёстких диска. В этом руководстве мы покажем создание программного RAID 1 (зеркало) на двух жёстких дисках на примере дистрибутива Школьный Сервер. Создание RAID на других дистрибутивах аналогично.

Примечание. Можно создать том RAID1 из одного диска с тем, чтобы в будущем добавить второй том в зеркало. Для этого просто указывайте один раздел для массива на шаге 2. Опция «Деградированный массив» не нужна.

Примечание. При задействовании дисков с существующими метаданными уже не нужных RAID-массивов (программных, аппаратных и FakeRAID) обратите внимание на необходимость их предварительной зачистки в текущих выпусках (вплоть до 8.1).

Варианты установок

Установка на несколько RAID-томов в режиме Legacy

При установке создаётся несколько разделов на каждом жёстком диске, соответствующие разделы (одинаковые на разных дисках) объединяются в отдельные тома mdX.

Шаг 1. Готовим разделы для RAID

На этапе подготовка диска выберите пункт «Вручную» («Подготовить разделы вручную») и нажмите кнопку «Далее»:

На следующем экране нам необходимо создать одинаковые разделы для RAID на обоих дисках. В данном примере рассмотрено создание двух разделов на RAID: подкачка (swap) и корневая файловая система (/). Вы можете создать и другие разделы (например, для /var) способом, приведённым ниже.

Примечание: Если у вас на каждом диске есть один общий раздел, выберите диск и нажмите кнопку «Удалить»:

Выберите первый жёсткий диск и нажмите кнопку «Создать раздел»:

Появится следующий диалог:

Укажите размер раздела (для начала создадим swap размером 2048 Мб) и тип раздела выбрать «Linux RAID». Важно указать именно такой тип.

На оставшемся месте на диске создадим ещё один раздел:

Аналогичным образом создадим такие же разделы на втором диске. При этом разделы на разных дисках должны совпадать по размеру.

Примечание: При создании разделов следует учесть, что объём результирующего массива может зависеть от размера, включённых в него разделов жёсткого диска. Например, при создании RAID 1, результирующий размер массива будет равен размеру минимального участника.

Шаг 2. Создание массивов RAID

Выберите в списке разделов пункт «RAID» и нажмите на кнопку «Создать RAID». Если такой кнопки нет, это означает, что вы ещё не создали разделы с типом «Linux RAID»:

В диалоге создания RAID выберите «MD-устройство уровня RAID1» и нажмите на кнопку OK:

Появится диалог указания разделов жёстких дисков для RAID-раздела. По умолчанию выбираются все разделы, поэтому снимите флажки со всех разделов, кроме sda1 и sdb1. Нажмите на кнопку OK:

У нас создан один раздел в массиве RAID (md0). Теперь аналогично создадим второй раздел под корневую файловую систему. Для этого снова выберите пункт «RAID» и нажмите на кнопку «Создать RAID». В появившемся диалоге укажите «MD-устройство уровня RAID1» и нажмите на кнопку OK.

В диалоге указания разделов жёстких дисков для RAID-раздела оставьте отмеченными разделы sda2 и sdb2 и нажмите на кнопку OK.

После создания RAID-массивов их можно использовать как обычные разделы на жёстких дисках, то есть, на них можно создавать файловые системы.

Для создания swap выберите пункт «md0» и нажмите кнопку «Создать том»:

Будет запрошен тип создаваемой файловой системы. Для swap выберите «Файловая система подкачки (swap)» и нажмите на кнопку OK:

В следующем окне нажмите на кнопку OK:

Для создания корневой файловой системы выберите пункт «md1» и нажмите кнопку «Создать том»:

Для корневой файловой системы выберите тип «Файловая система Ext2/3/4» и нажмите на кнопку OK:

В следующем окне нажмите на кнопку OK:

Для файловой системы Ext2/3/4 необходимо дополнительно указать точку монтирования. Для корневой файловой системы это «/» (предлагается по умолчанию). Нажмите на кнопку OK:

Поздравляем! Вы создали RAID! Теперь для продолжения установки нажмите кнопку «Далее». Будет запрошено подтверждение изменений. Нажмите на кнопку OK.

Шаг 3. Установка загрузчика

Далее при установке будет ещё один момент, который необходимо учесть. Речь идёт про установку загрузчика операционной системы. Выберите «Раздел Linux (md1)» (это созданный нами на RAID раздел корневой файловой системы). После этого нажмите кнопку «Далее» и продолжайте установку как обычно.

Установка на несколько RAID-томов в режиме UEFI

При установке создаётся несколько разделов на каждом жёстком диске, соответствующие разделы (одинаковые на разных дисках) объединяются в отдельные тома mdX.

Главное отличие от установки в режиме Legacy — необходимость отдельного раздела под загрузчик.

Вариант 1

Создание на одном из дисков сделать отдельного /boot/efi

Шаг 1. Готовим разделы для RAID

На этапе подготовка диска выберите пункт «Вручную» («Подготовить разделы вручную») и нажмите кнопку «Далее».

На следующем экране нам необходимо создать одинаковые разделы на обоих дисках. В данном примере рассмотрено создание двух разделов: раздел ESP (/boot/efi) и корневая файловая система (/). Вы можете создать и другие разделы (например, для /var) способом, приведённым ниже.

Примечание: Если у вас на каждом диске есть один общий раздел, выберите диск и нажмите кнопку «Удалить».

Выберите первый жёсткий диск и нажмите кнопку «Создать раздел»:

Необходимо создать FAT32-раздел с GPT-типом ESP (efi system partition): укажите размер ~100—500 Мб, выберите тип раздела «efi system partition»:

В следующем окне выберите тип «Файловая система FAT32»:

Затем укажите точку монтирования /boot/efi:

На оставшемся месте на диске создадим ещё один раздел: тип раздела выбрать «basic data» и не создавать на нем том (снять отметку с пункта «Создать том»):

На втором диске создать два раздела с типом «basic data» без создания на них томов. При этом разделы на разных дисках должны совпадать по размеру.

Шаг 2. Создание массивов RAID

Выберите в списке разделов пункт «RAID» и нажмите на кнопку «Создать RAID»:

В диалоге создания RAID выберите «MD-устройство уровня RAID1» и нажмите на кнопку OK. Появится диалог указания разделов жёстких дисков для RAID-раздела. По умолчанию выбираются все разделы, поэтому снимите флажки со всех разделов, кроме sda2 и sdb2. Нажмите на кнопку OK:

У нас создан один раздел в массиве RAID (md0).

Для создания корневой файловой системы выберите пункт «md0» и нажмите кнопку «Создать том»:

Для корневой файловой системы выберите тип «Файловая система Ext2/3/4» и нажмите на кнопку OK:

В следующем окне нажмите на кнопку OK. И затем укажите точку монтирования. Для корневой файловой системы это «/» (предлагается по умолчанию):

Теперь для продолжения установки нажмите кнопку «Далее». Будет запрошено подтверждение изменений. Нажмите на кнопку OK.

Шаг 3. Установка загрузчика

На этапе установки загрузчика выберите «EFI (рекомендуемый)»:

После этого нажмите кнопку «Далее» и продолжайте установку как обычно.

Шаг 5. Установка загрузчика на RAID

После того как система будет установлена можно загрузчик добавить в RAID:

1. Скопировать данные с загрузочного раздела (/boot/efi) на основной раздел, чтобы после создания рейда можно было их скопировать обратно:

   # mkdir /boot/test
   # cp -r /boot/efi/* /boot/test/
   

2. Размонтировать /boot/efi:

   # umount /boot/efi
   

3. Объединить в рейд (md128) два раздела (sda1 и sda2):

   # mdadm --create --verbose /dev/md128 --level=1 --raid-devices=2 --metadata=1.0 /dev/sda1 /dev/sdb1
   

   Измените /dev/md128 на что-то другое, если /dev/md128 уже является активным устройством MD.

4. Создать файловую систему на RAID:

   # mkfs.vfat /dev/md128
   

5. Вывести UUID раздела:

   # lsblk -o +uuid
   NAME      MAJ:MIN RM   SIZE RO TYPE  MOUNTPOINTS UUID
   sda         8:0    0    28G  0 disk              
   ├─sda1      8:1    0   255M  0 part              ab242873-219e-2808-bf97-d17ece5893ca
   │ └─md128   9:128  0 254,9M  0 raid1             0BFA-B87A
   └─sda2      8:2    0  27,7G  0 part              6cf6a36a-55c4-e76f-6870-e615cc1bf25b
     └─md127   9:127  0  27,7G  0 raid1 /           c6e98049-6aa8-44fb-9528-16f1cda381ed
   sdb         8:16   0    28G  0 disk              
   ├─sdb1      8:17   0   255M  0 part              ab242873-219e-2808-bf97-d17ece5893ca
   │ └─md128   9:128  0 254,9M  0 raid1             0BFA-B87A
   └─sdb2      8:18   0  27,7G  0 part              6cf6a36a-55c4-e76f-6870-e615cc1bf25b
     └─md127   9:127  0  27,7G  0 raid1 /           c6e98049-6aa8-44fb-9528-16f1cda381ed
   sr0        11:0    1  1024M  0 rom
   

6. В /etc/fstab изменить UUID у записи /boot/efi на новый (в данном примере 0BFA-B87A):

   proc		/proc			proc	nosuid,noexec,gid=proc		0 0
   devpts		/dev/pts		devpts	nosuid,noexec,gid=tty,mode=620	0 0
   #tmpfs		/tmp			tmpfs	nosuid				0 0
   UUID=c6e98049-6aa8-44fb-9528-16f1cda381ed	/	ext4	relatime	1	1
   UUID=0BFA-B87A	/boot/efi	vfat	umask=0,quiet,showexec,iocharset=utf8,codepage=866	1	2
   

7. Смонтировать /boot/efi:

   # mount /boot/efi
   

8. Скопировать данные из резервной копии в /boot/efi:

   # cp -r /boot/test/* /boot/efi/
   

9. Перезагрузить систему.

Вариант 2

Создание на каждом диске раздела с типом ESP, и объединение их в RAID1.

Шаг 1. Готовим разделы для RAID

На этапе подготовка диска выберите пункт «Вручную» («Подготовить разделы вручную») и нажмите кнопку «Далее».

На следующем экране нам необходимо создать одинаковые разделы на обоих дисках. В данном примере рассмотрено создание двух разделов: раздел ESP (/boot/efi) и корневая файловая система (/).

Примечание: Если у вас на каждом диске есть один общий раздел, выберите диск и нажмите кнопку «Удалить».

Выберите первый жёсткий диск и нажмите кнопку «Создать раздел»:

Создать раздел с GPT-типом ESP (efi system partition): укажите размер ~100—500 Мб, тип раздела выберите «efi system partition» и снимите отметку с пункта «Создать том»:

На оставшемся месте на диске создать ещё один раздел: тип раздела выбрать «basic data» и не создавать на нём том (снять отметку с пункта «Создать том»):

На втором диске создать такие же разделы.

Шаг 2. Создание массивов RAID

Выберите в списке разделов пункт «RAID» и нажмите на кнопку «Создать RAID». В диалоге создания RAID выберите «MD-устройство уровня RAID1» и нажмите на кнопку OK. Появится диалог указания разделов жёстких дисков для RAID-раздела. По умолчанию выбираются все разделы, поэтому снимите флажки со всех разделов, кроме sda1 и sdb1. Снимите отметку с пункта «Суперблок версии 1». Нажмите на кнопку OK:

Создать второй раздел под корневую файловую систему. Для этого снова выберите пункт «RAID» и нажмите на кнопку «Создать RAID». В появившемся диалоге укажите «MD-устройство уровня RAID1» и нажмите на кнопку OK. В диалоге указания разделов жёстких дисков для RAID-раздела оставьте отмеченными разделы sda2 и sdb2 и нажмите на кнопку OK.

Для создания раздела для загрузчика выберите пункт «md0» и нажмите кнопку «Создать том».

Будет запрошен тип создаваемой файловой системы. Для загрузчика выберите «Файловая система FAT32»:

И затем укажите точку монтирования /boot/efi:

Для создания корневой файловой системы выберите пункт «md1» и нажмите кнопку «Создать том». Для корневой файловой системы выберите тип «Файловая система Ext2/3/4» и затем укажите точку монтирования. Для корневой файловой системы это «/» (предлагается по умолчанию)

Для продолжения установки нажмите кнопку «Далее». Будет запрошено подтверждение изменений. Нажмите на кнопку OK.

Шаг 3. Установка загрузчика

На этапе установки загрузчика выберите «EFI (для съёмных устройств)»:

После этого нажмите кнопку «Далее» и продолжайте установку как обычно.

Установка на разделы одного тома RAID (не поддерживается)

При желании иметь отдельные разделы для /, /home, /var и т. д. создавать несколько томов может оказаться неудобно. В Linux возможно создать один большой том md0 и разбить его на разделы, как обычный hdd. Такой вариант, к сожалению, установщиком в ALT не поддерживается в настоящее время (altbug #11572). Как замену, можно использовать установку на RAID+LVM.

Установка на RAID+LVM

Цитата из сообщения в рассылке community:

Как можно установить LVM поверх md? Я в инсталяторе создаю md, но нет возможности указать это md0 для создания группы томов.

1. Создаёте разделы типа Linux RAID (и не забудьте /boot вынести на отдельный обычный или RAID-раздел, с LVM не грузилось).
2. В разделе RAID создаёте RAID из этих разделов.
3. В разделе LVM создаёте группу томов. Эта группа будет сделана на основе RAID-раздела (я проверял на единственном созданном, без разделов типа Linux LVM).
4. В группе томов LVM создаёте раздел(ы), присваиваете точки монтирования.
5. Дальше устанавливаете как обычно.

После установки

После того, как операционная система будет установлена и загружена, можно посмотреть, в каком состоянии находится ваш RAID. Для этого войдите под пользователем и введите команду

cat /proc/mdstat

Действия при выходе одного жёсткого диска из строя

Если один жёсткий диск вышел из строя, то загрузите операционную систему (она будет работать и на одном диске), зайдите под пользователем root и проделайте следующее:

1. Посмотрите, что сломалось:

[root@localhost ~]# cat /proc/mdstat 
Personalities : [raid1] 
md1 : active raid1 sda2[0]
      4723008 blocks [2/1] [U_]
      
md0 : active (auto-read-only) raid1 sda1[0]
      513984 blocks [2/1] [U_]

Из вывода видно, что диск sdb недоступен: U_ показывает отсутствие второго раздела под RAID.

2. Подключаем диск и копируем таблицу разделов с диска sda на диск sdb. Также перечитаем скопированную таблицу разделов для ядра. Пример для таблицы разделов MBR:

[root@localhost ~]# dd if=/dev/sda of=/dev/sdb bs=512 count=1
1+0 records in
1+0 records out
512 bytes (512 B) copied, 0.00682677 s, 75.0 kB/s
[root@localhost ~]# hdparm -z /dev/sdb

/dev/sdb:
 re-reading partition table

Вместо hdparm можно использовать команду partprobe без параметров.

В случае GPT нужно копировать 2048 байт в начале диска (bs=2048), следом нужно запустить parted и подтвердить "починку" второй копии GPT, и уже тогда перечитывать ядром таблицу томов.

3. Добавляем разделы со второго диска к RAID-массиву:

[root@localhost ~]# mdadm /dev/md0 -a /dev/sdb1
mdadm: added /dev/sdb1
[root@localhost ~]# mdadm /dev/md1 -a /dev/sdb2
mdadm: added /dev/sdb2

4. Смотрим, что получилось:

[root@localhost ~]# cat /proc/mdstat 
Personalities : [raid1] 
md1 : active raid1 sdb2[2] sda2[0]
      4723008 blocks [2/1] [U_]
      [>....................]  recovery =  0.6% (32064/4723008) finish=9.7min speed=8016K/sec
      
md0 : active raid1 sdb1[1] sda1[0]
      513984 blocks [2/2] [UU]
      
unused devices: <none>

Всё нормально: md0 уже засинхронизировался, md1 в процессе синхронизации.

5. Через некоторое время (точнее — 10 минут, смотрите значение finish на этапе 4) смотрим ещё раз:

[root@localhost ~]# cat /proc/mdstat
Personalities : [raid1] 
md1 : active raid1 sdb2[1] sda2[0]
      4723008 blocks [2/2] [UU]
      
md0 : active raid1 sdb1[1] sda1[0]
      513984 blocks [2/2] [UU]
      
unused devices: <none>

Теперь RAID полностью восстановлен.

6. Обязательно восстанавливаем загрузчик, для lilo:

[root@localhost ~]# lilo
Added ALTLinux *
Added failsafe
The Master boot record of  /dev/sda  has been updated.
Warning: /dev/sdb is not on the first disk
The Master boot record of  /dev/sdb  has been updated.
One warning was issued.

или для grub2:

[root@localhost ~]# grub-autoupdate
Updating grub on /dev/sdb
Installation finished. No error reported.
Updating grub on /dev/sda
Installation finished. No error reported.

и или для grub2:

[root@localhost ~]# grub-install /dev/sda
Установка завершена. Ошибок нет.
[root@localhost ~]# grub-install /dev/sdb
Установка завершена. Ошибок нет.
[root@localhost ~]# update-grub