Просмотр кода страницы DRBD OCFS2

{{Stub}}
DRBD (Distributed Replicated Block Device — распределённое реплицируемое блочное устройство) представляет собой распределенное, гибкое и универсально реплицируемое решение хранения данных для Linux. Оно отражает содержимое блочных устройств, таких как жесткие диски, разделы, логические тома между серверами. 

OCFS2 — файловая система, обеспечивающая разделяемое использование одного и того же хранилища несколькими системами. OCFS2 можно использовать не только поверх DRBD, но и поверх iSCSI с множественным подключением.
== Введение ==

В данной статье рассмотрим развертывание общего хранилища на базе DRBD+OCFS2.

Для создания реплицируемого диска необходимо 2 сервера.

На каждом из них должны быть подготовлены области хранения примерно одного и того же размера. Это может быть раздел жесткого диска (или целый физический жесткий диск), программное устройство RAID, логический том LVM или любой другой тип блочного устройства. Также желательно использовать 2 сетевые карты (одна сетевая карта используется для подключения к локальной сети, вторая для связи с другим сервером). 

В данной статье в качестве устройства хранения используется логический том data (блочное устройство {{path|/dev/vg0/data}}):
<syntaxhighlight lang="bash"># lsblk
NAME         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda            8:0    0   80G  0 disk 
├─sda1         8:1    0 1023M  0 part [SWAP]
├─sda2         8:2    0  199M  0 part /boot
└─sda3         8:3    0 78,8G  0 part 
  ├─vg0-root 253:0    0   10G  0 lvm  /
  └─vg0-data 253:1    0   68G  0 lvm  
sr0           11:0    1 1024M  0 rom </syntaxhighlight>

Тестовый стенд:
* node01 (IP: 192.168.0.130 — первая нода кластера;
* node02 (IP: 192.168.0.131) — вторая нода кластера.

На обоих узлах в файл {{path|/etc/hosts}} необходимо добавить сопоставления имён и IP-адресов узлов, если они не могут быть определены с DNS-сервера:
<syntaxhighlight lang="ini">192.168.0.130   node01
192.168.0.131   node02
</syntaxhighlight>

== Настройка DRBD9 ==
=== Установка DRBD ===
DRBD реализован как модуль ядра Linux.

Установить пакет {{pkg|drbd-utils}} и модуль ядра (в данном примере, тип ядра — std-def):

<syntaxhighlight lang="bash"># apt-get install drbd-utils kernel-modules-drbd9-std-def</syntaxhighlight>

Активировать и включить в автозагрузку модуль ядра drbd:

<syntaxhighlight lang="bash"># modprobe drbd
# echo drbd > /etc/modules-load.d/drbd.conf</syntaxhighlight>

Просмотреть статус drbd:  
<syntaxhighlight lang="bash"># cat /proc/drbd 
version: 9.1.5 (api:2/proto:110-121)</syntaxhighlight>

=== Настройка ===
Основной файл конфигурации DRBD — {{path|/etc/drbd.conf}}. Все конфигурационные файлы расположенные в каталоге {{path|/etc/drbd.d}} подключаются автоматически. 

На обоих серверах создать файл конфигурации ресурсов (например, {{path|/etc/drbd.d/shared.res}}), определяющий состав дисковых ресурсов DRBD:

<syntaxhighlight lang="ini">resource shared {
        protocol C;
        net {
                allow-two-primaries;
                sndbuf-size     0;
        }
        disk {
                no-disk-barrier;
                no-disk-flushes;
        }
        startup {
                become-primary-on both;
        }
        on node01 {
                device    /dev/drbd1;
                disk      /dev/vg0/data;
                address   192.168.0.130:7789;
                meta-disk internal;
        }
        on node02 {
                device    /dev/drbd1;
                disk      /dev/vg0/data;
                address   192.168.0.131:7789;
                meta-disk internal;
        }
}
</syntaxhighlight>
Этот конфигурационный файл должен быть одинаковый на двух серверах.

{{note|
Конфигурационный файл подробнее:
# resource — название ресурса.
# protocol — номер протокола. DRBD поддерживает три режима репликации:
#* A – протокол асинхронной репликации (запись считается завершенной, как только запись завершилась на локальное устройство и данные были отправлены на удаленный узел);
#* B – протокол полусинхронной репликации или протокол синхронной памяти (запись считается успешной, если она завершилась на локальный диск, и удаленный узел подтвердил получение данных);
#* С – протокол синхронной репликации (операция записи считается завершенной, когда и локальный, и сетевой диски сообщают об успешном завершении записи).
# on node1 – описание первого узла:
#* device – блок данных, который необходимо создать;
#* disk – родительский жесткий диск;
#* address – IP-адрес и номер порта соответствующего сервера;
#* meta-disk internal – указание хранить метаданные на этом же устройстве.
}}

{{Note| DRBD может работать в двух режимах:
* Primary/Secondary — один узел доступен для чтения и записи, а второй недоступен, однако он постоянно синхронизируется на блочном уровне. В этом режиме нет необходимости использовать кластерные файловые системы, можно использовать, например, ext4;
*Primary/Primary — оба узла доступны для чтения и записи (должен быть установлен параметр allow-two-primaries в файле конфигурации).}}

=== Инициализация и запуск ресурса ===
Инициализировать раздел на обоих серверах:
<syntaxhighlight lang="bash"># drbdadm create-md shared
initializing activity log
initializing bitmap (2176 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.
</syntaxhighlight>

На обоих серверах поднять ресурс:
<syntaxhighlight lang="bash"># drbdadm up shared</syntaxhighlight>

Убедиться, что создано блочное устройство drbd1:
<syntaxhighlight lang="bash"># lsblk
NAME         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda            8:0    0   80G  0 disk 
├─sda1         8:1    0 1023M  0 part [SWAP]
├─sda2         8:2    0  199M  0 part /boot
└─sda3         8:3    0 78,8G  0 part 
  ├─vg0-root 253:0    0   10G  0 lvm  /
  └─vg0-data 253:1    0   68G  0 lvm  
    └─drbd1  147:1    0   68G  0 disk 
sr0           11:0    1 1024M  0 rom 
</syntaxhighlight>

{{Note|Для отключения устройства используется команда:
<syntaxhighlight lang="bash"># drbdadm down shared</syntaxhighlight>}}

Просмотреть статус drbd устройств:
<syntaxhighlight lang="bash"># drbdadm status
shared role:Secondary
  disk:Inconsistent
  node01 role:Secondary
    peer-disk:Inconsistent
</syntaxhighlight>

Сделать на одном из серверов ресурс shared главным:
<syntaxhighlight lang="bash"># drbdadm primary --force shared
# drbdadm status
shared role:Primary
  disk:UpToDate
  node02 role:Secondary
    replication:SyncSource peer-disk:Inconsistent done:32.04
</syntaxhighlight>

В выводе команды видно, что ресурс shared стал Primary, второй сервер в состоянии Secondary. Также показано, что идет синхронизация дисков.

Следует дождаться завершения синхронизации. После завершения синхронизации состояние обоих дисков должно быть UpToDate:

[[Файл:Drbd_ocfs2_2.png|Синхронизация дисков]]

== ФС ==

Создать файловую систему (на любом сервере) (на узлах доступно разделяемое хранилище {{path|/dev/drbd1}}):
<syntaxhighlight lang="bash"># mkfs.ocfs2 /dev/drbd1

mkfs.ocfs2 1.8.7
Cluster stack: classic o2cb
Label: 
Features: sparse extended-slotmap backup-super unwritten inline-data strict-journal-super xattr indexed-dirs refcount discontig-bg append-dio
Block size: 4096 (12 bits)
Cluster size: 4096 (12 bits)
Volume size: 73012178944 (17825239 clusters) (17825239 blocks)
Cluster groups: 553 (tail covers 19927 clusters, rest cover 32256 clusters)
Extent allocator size: 12582912 (3 groups)
Journal size: 268435456
Node slots: 8
Creating bitmaps: done
Initializing superblock: done
Writing system files: done
Writing superblock: done
Writing backup superblock: 4 block(s)
Formatting Journals: done
Growing extent allocator: done
Formatting slot map: done
Formatting quota files: done
Writing lost+found: done
mkfs.ocfs2 successful
</syntaxhighlight>

Команду нужно вводить только на одном сервере, поскольку изменения автоматически копируются на второе устройство DRBD. 

== Установка и настройка OCFS2 ==

Установить пакет {{pkg|ocfs2-tools}}:
<syntaxhighlight lang="bash"># apt-get install ocfs2-tools</syntaxhighlight>

OCFS2 использует центральный файл конфигурации {{path|/etc/ocfs2/cluster.conf}}.

На обоих серверах внести изменения в файл {{path|/etc/ocfs2/cluster.conf}}:

<syntaxhighlight lang="ini">
cluster:
    node_count = 2
    name = ocfs2cluster

node:
    ip_port = 7777
    ip_address = 192.168.0.130
    number = 0
    name = node01
    cluster = ocfs2cluster

node:
    ip_port = 7777
    ip_address = 192.168.0.131
    number = 1
    name = node02
    cluster = ocfs2cluster
</syntaxhighlight>

Настроить драйвер O2CB, для этого в файле {{path|/etc/sysconfig/o2cb}} необходимо установить указать название кластера и установить значение в true:
<syntaxhighlight lang="ini">
O2CB_ENABLED=true
O2CB_BOOTCLUSTER=ocfs2cluster
</syntaxhighlight>

На обоих серверах выполнить команду:

<syntaxhighlight lang="bash"># o2cb register-cluster ocfs2cluster</syntaxhighlight>

На обоих серверах запустить и добавить в автозапуск службы:

<syntaxhighlight lang="bash"># systemctl enable --now drbd o2cb ocfs2</syntaxhighlight>

На обоих серверах примонтировать ресурс (каталог {{path|/mnt/shared}} должен существовать):
<syntaxhighlight lang="bash"># mount /dev/drbd1 /mnt/shared</syntaxhighlight>

В итоге блочное устройство смонтировано на оба сервера. Можно проверить синхронизацию, например, создав на одном из серверов файл.

Настроить таблицу разделов в {{path|/etc/fstab}} (на обоих серверах):
<syntaxhighlight lang="ini">
/dev/drbd1  /mnt/shared   ocfs2  defaults,noauto,nosuid,noexec   0 0
</syntaxhighlight>

== Настройка порядка загрузки ==

Необходимо чтобы DRBD запускался до монтирования ФС.

== Ссылки ==

https://linbit.com/drbd-user-guide/drbd-guide-9_0-en/

[[Категория:Система хранения данных]]
{{Category navigation|title=Система хранения данных|category=Система хранения данных|sortkey={{SUBPAGENAME}}}}