GlusterFS3.3の挙動を調査してみた

前提条件として
クライアントは１台
GlusterFSクラスタは3つのトラステッドピアから成る
各ピアは１つのブリックを提供している
各ピアはレプリケーションモードでボリュームを構成

1. $ gluster volume create volume1 replica 3 10.x.x.x:/brick 10.x.x.y:/brick 10.x.x.z:/brick   
2. $ gluster volume info volume1  
3.   
4. Volume Name: volume1  
5. Type: Replicate  
6. Volume ID: xxxxxx  
7. Status: Started  
8. Number of Bricks: 1 x 33 = 3  
9. Transport-type: tcp  
10. Bricks:  
11. Brick1: 10.x.x.x:/brick  
12. Brick2: 10.x.x.y:/brick  
13. Brick3: 10.x.x.z:/brick  

$ gluster volume create volume1 replica 3 10.x.x.x:/brick 10.x.x.y:/brick 10.x.x.z:/brick 
$ gluster volume info volume1

Volume Name: volume1
Type: Replicate
Volume ID: xxxxxx
Status: Started
Number of Bricks: 1 x 3 = 3
Transport-type: tcp
Bricks:
Brick1: 10.x.x.x:/brick
Brick2: 10.x.x.y:/brick
Brick3: 10.x.x.z:/brick

gfs.hoge.netのAレコードに3つのトラステッドピアのIPアドレスを登録

1. $ nslookup gfs.hoge.net  
2.   
3. Non-authoritative answer:  
4. Name:   gfs.hoge.net  
5. Address: 10.x.x.x  
6. Name:   gfs.hoge.net  
7. Address: 10.x.x.y  
8. Name:   gfs.hoge.net  
9. Address: 10.x.x.z  

$ nslookup gfs.hoge.net

Non-authoritative answer:
Name:   gfs.hoge.net
Address: 10.x.x.x
Name:   gfs.hoge.net
Address: 10.x.x.y
Name:   gfs.hoge.net
Address: 10.x.x.z

クライアント側ではホスト名でマウント

1. $ mkdir /gfs  
2. $ mount -t glusterfs gfs.hoge.net:/volume1 /gfs  

$ mkdir /gfs
$ mount -t glusterfs gfs.hoge.net:/volume1 /gfs

■クライアント側で新しいファイルを作成したときの挙動
クライアントから3つのピアに対してデータが転送された

■クライアントからファイルを読み取った場合の挙動
いずれか１つのピアから転送された
連続して同じファイルを読み取る場合は転送元となるピアは同一であった
連続して同じファイルではない場合は転送元となるピアはランダムに変化した

■ピアが落ちている間にファイルが作成され、ピアが復活した場合
復活後すぐに作成されたファイルと同一名の空っぽのファイルが復活したピアのブリック上に作成される
クライアント側でlsなどのファイル操作を行うといずれかのピアからファイルが転送された

■ピアを新たに追加し、volumeにreplicaモードで追加した場合
追加した瞬間はなにも起こらない
クライアント側でファイルの追加や更新を行うとそのファイルだけ新しいピアにも転送された
クライアント側でlsを行うと既存のピアからクライアント経由で既存のファイル群が転送された