今更ながらですが、DRBD9をインストールしてみました。他のサイトを参考にしていると、ソースからのmake、make installでしかインストールしていなかったので、rpmパッケージをビルドしてからインストールする方法を試してみました。

環境

• OS: CentOS 7(パッケージグループ Base、Development Tools をインストール)
• KVM上の仮想マシン(HDDは8GBと50GBの2台を搭載した状態)
• drbd01～drbd03の3台でクラスタを構成
• drbd01のIPアドレス: 192.168.24.223
• drbd02のIPアドレス: 192.168.24.224
• drbd03のIPアドレス: 192.168.24.225

rpmパッケージの作成

準備:rpmbuild環境構築

rpmbuildの環境を構築するツールがあるので、コマンド一つでrpmbuild環境が構築できます。

[root@drbd01 ~]# yum install -y rpmdevtools

ユーザに戻り、rpmdev-setuptreeコマンドを叩きます。

rpmbuildディレクトリから.rpmmacrosまで作成してくれます。

[fumikura@drbd01 ~]$ rpmdev-setuptree
[fumikura@drbd01 ~]$ tree -a
～～～
.
|-- .rpmmacros
`-- rpmbuild
|-- BUILD
|-- RPMS
|-- SOURCES
|-- SPECS
`-- SRPMS
～～～
7 directories, 7 files

必要パッケージのインストール

DRBD9のインストールに必要なパッケージをインストールします。

[fumikura@drbd01 ~]$ sudo yum install -y libxslt libxslt-devel pygobject2 help2man kernel-abi-whitelists

ソースのダウンロード

今回は、gitリポジトリがあるものはgitから入手しました。

ソース置場用のディレクトリを作って移動します。

[fumikura@drbd01 ~]$ mkdir Archives
[fumikura@drbd01 ~]$ cd Archives

– drbd kernel module

[fumikura@drbd01 Archive]$ git clone --recursive git://git.drbd.org/drbd-9.0.git

– drbd-utils

[fumikura@drbd01 Archives]$ git clone --recursive git://git.linbit.com/drbd-utils.git

– drbdmanage

[fumikura@drbd01 Archive]$ git clone --recursive git://git.drbd.org/drbdmanage.git

drbd kernel moduleのrpmパッケージ作成

今回は、公式サイトにてリリースされている最新リリースのdrbd-9.0.8に合わせてビルドしようと思います。

[fumikura@drbd01 Archive]$ cd drbd-9.0
[fumikura@drbd01 drbd-9.0]$ git checkout drbd-9.0.8
[fumikura@drbd01 drbd-9.0]$ make .filelist
[fumikura@drbd01 drbd-9.0]$ make kmp-rpm

drbd-utilsのrpmパッケージ作成

(2017.09.04,Mon 追記)
下記のまま、rpm作成を行うと、rpmのインストール時に競合が起こります。drbd.spec.inを以下のように修正してから実施してください。

--- ../drbd-utils.orig/drbd.spec.in     2017-09-01 15:01:35.721074085 +0900
+++ ./drbd.spec.in      2017-09-04 10:48:54.719119053 +0900
@@ -31,6 +31,7 @@
 # conditionals may not contain "-" nor "_", hence "bashcompletion"
 %bcond_without bashcompletion
 %bcond_without sbinsymlinks
+%undefine with_sbinsymlinks
 # --with xen is ignored on any non-x86 architecture
 %bcond_without xen
 %bcond_without 83support

[fumikura@drbd01 Archives]$ cd drbd-utils
[fumikura@drbd01 drbd-utils]$ git checkout v9.0.0
[fumikura@drbd01 drbd-utils]$ ./autogen.sh
[fumikura@drbd01 drbd-utils]$ ./configure --prefix=/usr --localstatedir=/var --sysconfdir=/etc
[fumikura@drbd01 drbd-utils]$ make .filelist
[fumikura@drbd01 drbd-utils]$ make rpm

drbdmanageのrpmパッケージ作成

drbdmanageはソース直下のディレクトリ、distの中にrpmパッケージが生成されます。

[fumikura@drbd01 Archive]$ cd drbdmanage/
[fumikura@drbd01 drbdmanage]$ make rpm
[fumikura@drbd01 drbdmanage]$ cd dist/
[fumikura@drbd01 dist]$ ls -al
合計 1080
drwxrwxr-x.  2 fumikura fumikura    111  8月  8 17:08 .
drwxrwxr-x. 11 fumikura fumikura   4096  8月  8 17:08 ..
-rw-rw-r--.  1 fumikura fumikura 507844  8月  8 17:08 drbdmanage-0.99.5-1.noarch.rpm
-rw-rw-r--.  1 fumikura fumikura 298012  8月  8 17:08 drbdmanage-0.99.5-1.src.rpm
-rw-rw-r--.  1 fumikura fumikura 294884  8月  8 17:08 drbdmanage-0.99.5.tar.gz

rpmパッケージのインストール

先程作成されたパッケージは、~/rpmbuild/RPMS/x86_64の中に10個、~/hoge/drbdmanage/distの中に1個の計11個のrpmパッケージが生成されています。
このうち、debuginfoとついているパッケージはインストールしなくても大丈夫です。

/home/fumikura/rpmbuild/RPMS/x86_64/kmod-drbd-9.0.8_3.10.0_514.26.2-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-kernel-debuginfo-9.0.8-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-utils-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-xen-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-udev-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-pacemaker-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-heartbeat-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-bash-completion-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-debuginfo-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/Archive/drbdmanage/dist/drbdmanage-0.99.5-1.noarch.rpm

drbd kernel moduleのインストール

[fumikura@drbd01 x86_64]$ sudo rpm -ivh kmod-drbd-9.0.8_3.10.0_514.26.2-1.el7.centos.x86_64.rpm
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:kmod-drbd-9.0.8_3.10.0_514.26.2-1################################# [100%]

drbd-utilsのインストール

drbd-utils-9.0.0-1.el7.centos.x86_64.rpmはパッケージ自身と競合をおこして普通にインストールはできない為、–forceオプションでインストールします。(2017.09.04,Mon 修正)

[fumikura@drbd03 x86_64]$ sudo rpm -ivh drbd-utils-9.0.0-1.el7.centos.x86_64.rpm
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:drbd-utils-9.0.0-1.el7.centos    ################################# [100%]

その他のパッケージについては、drbd-9.0.0-1.el7.centos.x86_64.rpm が他のパッケージに依存しているので、先に、xen、udev、pacemaker、heartbeat、bash-completionをインストール後にインストールしてください。

[fumikura@drbd01 x86_64]$ sudo rpm -ivh drbd-xen-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-udev-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-pacemaker-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-heartbeat-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-bash-completion-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-9.0.0-1.el7.centos.x86_64.rpm
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:drbd-bash-completion-9.0.0-1.el7.################################# [ 17%]
   2:drbd-pacemaker-9.0.0-1.el7.centos################################# [ 33%]
   3:drbd-udev-9.0.0-1.el7.centos     ################################# [ 50%]
   4:drbd-xen-9.0.0-1.el7.centos      ################################# [ 67%]
   5:drbd-9.0.0-1.el7.centos          ################################# [ 83%]
   6:drbd-heartbeat-9.0.0-1.el7.centos################################# [100%]

drbdmanageのインストール

[fumikura@drbd01 dist]$ sudo rpm -ivh drbdmanage-0.99.9-1.noarch.rpm
準備しています...              ################################# [100%]
更新中 / インストール中...
   1:drbdmanage-0.99.9-1              ################################# [100%]

インストールは以上です。drbd01～drbd03すべてのノードでインストール作業を実施します。
次に、簡単にDRBDクラスタの構成を行ってみます。

DRBDクラスタの構成

DRBD用領域の作成

drbd01～drbd03のすべてのノードで実施します。

パーティションの作成

[root@drbd01 ~]# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


コマンド (m でヘルプ): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p): p
パーティション番号 (1-4, default 1): 1
最初 sector (2048-104857599, 初期値 2048):
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-104857599, 初期値 104857599):
初期値 104857599 を使います
Partition 1 of type Linux and of size 50 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました！

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。

物理ボリューム(PV)の作成

[root@drbd01 ~]# pvcreate /dev/sdb1
  Physical volume "/dev/sdb1" successfully created.

ボリュームグループ(VG)の作成

[root@drbd01 ~]# vgcreate drbdpool /dev/sdb1
  Volume group "drbdpool" successfully created

ここで指定する”drbdpool”はdrbdmanageで使用されるデフォルト名ですので、変更せずに作成します。

drbdmanageでのノードの追加

準備: firewalldの設定

drbdmanageがノード間の通信に利用するポートを開けます。ノード間の制御には6996、6999を利用しています。
リソースの同期には、7000～7800を利用しています。まとめて、6996～7800を開けています。

[root@drbd01 ~]# firewall-cmd --add-port=6996-7800/tcp --zone=public --permanent
success
[root@drbd01 ~]# firewall-cmd --reload
success
[root@drbd01 ~]# firewall-cmd --list-all
public (active)
  target: default
  icmp-block-inversion: no
  interfaces: eth0
  sources:
  services: dhcpv6-client ssh
  ports: 6996-7800/tcp
  protocols:
  masquerade: no
  forward-ports:
  sourceports:
  icmp-blocks:
  rich rules:

クラスタの初期化

drbd01のみで実行します。

[root@drbd01 ~]# drbdmanage init 192.168.24.223

You are going to initialize a new drbdmanage cluster.
CAUTION! Note that:
  * Any previous drbdmanage cluster information may be removed
  * Any remaining resources managed by a previous drbdmanage installation
    that still exist on this system will no longer be managed by drbdmanage

Confirm:

  yes/no: yes
Empty drbdmanage control volume initialized on '/dev/drbd0'.
Empty drbdmanage control volume initialized on '/dev/drbd1'.
Waiting for server: .
Operation completed successfully

ノードの追加

drbd02を追加する
※まずdrbd01でコマンドを実行。各ノードで実行するコマンドを発行します。

[root@drbd01 ~]# drbdmanage add-node drbd02 192.168.24.224
Operation completed successfully
Operation completed successfully
Host key verification failed.
Give leader time to contact the new node
Operation completed successfully
Operation completed successfully

Join command for node drbd02:
drbdmanage join -p 6999 192.168.24.224 1 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx

上記の”drbdmanage join …..”をdrbd02で実行します。

[root@drbd02 ~]# drbdmanage join -p 6999 192.168.24.224 1 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
  * Any previous drbdmanage cluster information may be removed
  * Any remaining resources managed by a previous drbdmanage installation
    that still exist on this system will no longer be managed by drbdmanage

Confirm:

  yes/no: yes
Waiting for server to start up (can take up to 1 min)
Operation completed successfully

drbd03についても同様に実施します。
・drbd01側

[root@drbd01 ~]# drbdmanage add-node drbd03 192.168.24.225
Operation completed successfully
Operation completed successfully
Host key verification failed.
Give leader time to contact the new node
Operation completed successfully
Operation completed successfully

Join command for node drbd03:
drbdmanage join -p 6999 192.168.24.225 2 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx

・drbd03側

[root@drbd03 ~]# drbdmanage join -p 6999 192.168.24.225 2 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
  * Any previous drbdmanage cluster information may be removed
  * Any remaining resources managed by a previous drbdmanage installation
    that still exist on this system will no longer be managed by drbdmanage

Confirm:

  yes/no: yes
Waiting for server to start up (can take up to 1 min)
Operation completed successfully

クラスタの状態確認

[root@drbd01 ~]# drbdmanage list-nodes
+----------------------------------------------------------------------------------------+
| Name   | Pool Size | Pool Free |                                               | State |
|----------------------------------------------------------------------------------------|
| drbd01 |     51196 |     51188 |                                               |    ok |
| drbd02 |     51196 |     51188 |                                               |    ok |
| drbd03 |     51196 |     51188 |                                               |    ok |
+----------------------------------------------------------------------------------------+
[root@drbd01 ~]# drbdadm status
.drbdctrl role:Primary
  volume:0 disk:UpToDate
  volume:1 disk:UpToDate
  drbd02 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate
  drbd03 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate

※”drbdmanage list-nodes”は”drbdmanage n”と省略できます。

リソースの追加

リソースを作成する

[root@drbd01 ~]# drbdmanage add-resource mysql-pri

リソース名を”mysql-pri”としたのは、後でMySQLのクラスタに利用するつもりです…

リソースのボリュームを設定する

[root@drbd01 ~]# drbdmanage add-volume mysql-pri 10GB
Operation completed successfully

リソースをデプロイするクラスタ数を設定する

[root@drbd01 ~]# drbdmanage deploy-resource mysql-pri 3
Operation completed successfully

※リソースの割り当てを個別にノードへデプロイするには、”drbdmanage assign-resource”コマンドを使用します。

[root@drbd01 ~]# drbdmanage assign-resource mysql-pri drbd03
Operation completed successfully

リソース追加直後の状態

[root@drbd01 ~]# drbdadm status
.drbdctrl role:Primary
  volume:0 disk:UpToDate
  volume:1 disk:UpToDate
  drbd02 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate
  drbd03 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate

mysql-pri role:Secondary
  disk:UpToDate
  drbd02 role:Secondary
    replication:SyncSource peer-disk:Inconsistent done:57.30
  drbd03 role:Secondary
    replication:SyncSource peer-disk:Inconsistent done:50.46

“Inconsistent”は不整合の状態です。”done”の後の数字は同期状態の進行具合を表示してます。

同期が終わると、このような表示になります。

[root@drbd01 ~]# drbdadm status
.drbdctrl role:Primary
  volume:0 disk:UpToDate
  volume:1 disk:UpToDate
  drbd02 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate
  drbd03 role:Secondary
    volume:0 peer-disk:UpToDate
    volume:1 peer-disk:UpToDate

mysql-pri role:Secondary
  disk:UpToDate
  drbd02 role:Secondary
    peer-disk:UpToDate
  drbd03 role:Secondary
    peer-disk:UpToDate

リソース”mysql-pri”のroleがどのノードでも”Secondary”になっているのは、DRBD9からは、リソースをマウントしたノードが自動的にPrimaryとなる仕様となっているからだとか。
今回は、ここまで。次回はDRBDの新機能、クライアント機能を利用して、MySQLサーバからリソースmysql-priをマウントしてみようと思います。
以上