MySQL HA 高可用性，MySQL Cluster 叢集

MySQL Cluster，需要的 server 要三台(含)以上，是不需要當心 primary key 重覆的問題，它架構分 Manage Nodes、Data Nodes、SQL Nodes，網路上有很多文章都說 Data Node 是存放資料的地方，明明 SQL Nodes 就存在著 mysql test XXX 等資料庫名稱啊，為何說它是存資料的地方，不會意思是 Data Nodes 是存資料在記憶體的意思吧，是的沒錯，Data Node 確實是儲存資料的地方 (ndbd程序)，只是它不是像 /var/lib/mysql 的樣子可以容易被我們看得懂，Data Node 是將資料及index放在記憶體中，且也有存在硬碟裡(停止程序時再啟動資料是還在的)，不過當記憶體不足時，它會有錯誤( table XXX is full)，新版是有支援寫到硬碟裡。而 SQL Node (mysqld程序) 只是讓我們建立資料庫、表的地方 (看得到/var/lib/mysql/XXX)，只是 SQL Node 這邊是看不到實際空間用量的。

環境

manager node: 10.10.10.137
data node1: 10.10.10.135
data node2: 10.10.10.134
data node3: 10.10.10.171
sql node1: 10.10.10.135
sql node2: 10.10.10.134
sql node3: 10.10.10.171

manager node 及所有的 node 都要裝 mysql-cluster (到 mysql 官網下載)

tar zxf mysql-cluster-gpl-7.4.6-linux-glibc2.5-x86_64.tar.gz
mv mysql-cluster-gpl-7.4.6-linux-glibc2.5-x86_64 /usr/local/mysql

manager node

mkdir /var/lib/mysql-cluster

cat <<EOF> /var/lib/mysql-cluster/config.ini
[ndb_mgmd default]
datadir=/var/lib/mysql-cluster

[ndbd default]
NoOfReplicas=3
DataMemory=80M
IndexMemory=18M
datadir=/usr/local/mysql/data

[ndb_mgmd]
NodeId=1
hostname=10.10.10.137

[ndbd]
NodeId=2
hostname=10.10.10.135

[ndbd]
NodeId=3
hostname=10.10.10.134

[ndbd]
NodeId=4
hostname=10.10.10.171

[mysqld]
NodeId=5
hostname=10.10.10.135

[mysqld]
NodeId=6
hostname=10.10.10.134

[mysqld]
NodeId=7
hostname=10.10.10.171
EOF

manager node 設定，它只要 ndb_mgm 與 ndb_mgmd 而已

cp -rp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin/
chmod +x /usr/local/bin/ndb_mgm*

data nodes

cat <<EOF> /etc/my.cnf
[mysqld]
# enable mysql cluster
ndbcluster
# 與 manager 連線，default port 是 1186
ndb-connectstring=10.10.10.137:1186

[mysql_cluster]
ndb-connectstring=10.10.10.137:1186
EOF

sql nodes

useradd -d /usr/local/mysql mysql
cd /usr/local/mysql
chown -R root .
chown -R mysql data
chgrp -R mysql .

cat <<EOF> /etc/my.cnf
[mysqld]
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/data/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

default_storage_engine=ndbcluster

# enable mysql cluster
ndbcluster
# 與 manager 連線，default port 是 1186
ndb-connectstring=10.10.10.137:1186

[mysql_cluster]
ndb-connectstring=10.10.10.137:1186

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

[client]
socket=/usr/local/mysql/data/mysql.sock
EOF

sql nodes

cd /usr/local/mysql
./scripts/mysql_install_db --user=mysql

yes|cp -rp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql.server
chmod +x /etc/init.d/mysql.server

cluster 環境開始執行

manager node

ndb_mgmd --nodaemon -v -f /var/lib/mysql-cluster/config.ini

data nodes

/usr/local/mysql/bin/ndbd --defaults-file=/etc/my.cnf -v --nodaemon --initial

–initial 只能在第一次完全無正式資料時啟用，不然原資料就會毀了

第二次之後要再啟動，只要如此即可

/usr/local/mysql/bin/ndbd --defaults-file=/etc/my.cnf -v --nodaemon

–nodaemon 我只是測試用方便，正式跑時可以省略

sql nodes

/etc/init.d/mysql.server start

匯入已存在的 sql

需要把它們的 engine 都改成 ndbcluster

一定要是 ndb 的 engine，cluster 才會同步

sql nodes 的 mysql 起來後，改一下 root 密碼

/usr/local/mysql/bin/mysqladmin -u root password '123456'

如果有使用 phpmyadmin 遇到無法登入的情況 (錯誤  #2002 無法登入 MySQL 伺服器)，那是因為 socket 檔的關系

ln -s /usr/local/mysql/data/mysql.sock /var/lib/mysql/

查看狀態，在 monitor 上

ndb_mgm -e show

Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	3 node(s)
id=2	@10.10.10.135  (mysql-5.6.24 ndb-7.4.6, Nodegroup: 0, *)
id=3	@10.10.10.134  (mysql-5.6.24 ndb-7.4.6, Nodegroup: 0)
id=4	@10.10.10.171  (mysql-5.6.24 ndb-7.4.6, Nodegroup: 0)

[ndb_mgmd(MGM)]	1 node(s)
id=1	@10.10.10.137  (mysql-5.6.24 ndb-7.4.6)

[mysqld(API)]	3 node(s)
id=5	@10.10.10.135  (mysql-5.6.24 ndb-7.4.6)
id=6	@10.10.10.134  (mysql-5.6.24 ndb-7.4.6)
id=7	@10.10.10.171  (mysql-5.6.24 ndb-7.4.6)

我測試時是用 virtualbox 架設環境的

• centos 6.4 x64
• 1 core cpu
• 512MB ram
• 500GB disk
• wordpress 4.2.2

在大量 insert 資料時，我看 data nodes 每台的 ndbd 的 cpu 使用率在 30% 以下

當我真的 insert 資料後，可以發現在 sql nodes 用 phpmyadmin 查看時，大小的欄位是寫未知，也就是無法知道容量用了多少，就算 du -sh /usr/local/mysql/data/DBNAME 也永遠都是 148KB，也就是說 sql node 只是讓你用來連線 3306 用的，真正的資料確實存在於 data nodes (即 ndbd 啟動的地方)。

情境測試
1x manage node + 1x sql node + 3x data nodes 的情況下
only manage node 掛了，服務正常
1x data node 掛了，服務正常
2x data node 掛了，服務正常
1x data node > 1x data node > 1x manage node 依序掛了，服務正常
1x manage node > 1x data node 依序掛了，中斷，因為 manage node 是負責管理掌管者，沒有它就不知道誰掛了後要怎麼處理了
假如其中一台 data node 掛了，要再起來，不過中途是有資料再寫入了，這台 data node 就要 –initial

Q: index 與 data 是存在 memory，那存在 disk 怎麼作 ?

Q: 怎麼查資料用量 ?

Q: 當 ndbd 的 %MEM 100%時 ?

Q: ERROR 1114 (HY000): The table ‘wp_posts’ is full
A: 評估用量，然後用 http://www.severalnines.com/clusterconfigurator 計算

其它 table full 情況

http://blog.snsgou.com/post-132.html
    DataMemory=15000M
    IndexMemory=2560M

http://www.greensoftcode.net/techntxt/20135434119419995310
    1.config.ini
    [ndbd default]
    NoOfReplicas=2 
    MaxNoOfConcurrentOperations=10000
    DataMemory=320M
    IndexMemory=96M
    TimeBetweenWatchDogCheck=30000
    MaxNoOfOrderedIndexes=512

    2.my.cnf
    [mysqld]
    ndbcluster
    ndb-connectstring=124.95.137.12
    optimizer_switch=engine_condition_pushdown=off

http://www.aichengxu.com/view/51918
    場景一，數據空間或索引內存空間滿
    DataMemory= 80 M
    IndexMemory= 20 M
    場景二，索引數量限制
    MaxNoOfTables= 1024
    MaxNoOfOrderedIndexes= 10240
    MaxNoOfUniqueHashIndexes= 10240
    場景三，數據目錄所在的硬盤空間滿了

Q: 假如把全部 ndbd 全停用時，資料還在嗎 ?
A: 在，但不知道怎麼查看內容 (實際存在狀態)

QA: 要完成 MySQL 叢集的運作環境最少需要 3 台伺服器，MySQL 官方建議最少用 4 台

QA: manage node 不要和 data node 同一台

QA: Management 可以跟 SQL node 放同一台

QA: Management 掛了，不影響服務，除了 Data Node 跟著掛了，所以可以配置兩台 Management 防止

以下參考 MySQL Cluster FAQ 截取一些說明

現在的 MySQL Cluster 7.3 版本，已是 MySQL 5.6 了

硬體規格
CPU: Intel/AMD x86, UltraSPARC
Memory: Minimum 1GB RAM
HDD: 3GB
Network: 1+ nodes (Gigabit Ethernet - TCP/IP)

誰適合
High volume OLTP
Real time analytics
Ecommerce and financial trading with fraud detection
Mobile and micro-payments
Session management & caching
Feed streaming, analysis and recommendations
Content management and delivery
Massively Multiplayer Online Games
Communications and presence services
Subscriber/user profile management and entitlements

Availability 99.999% (<5 min downtime/year)

Performance http://www.mysql.com/why-mysql/benchmarks/mysql-cluster/ 每秒可達 200 萬查詢量 (前提要有好的硬體設備) (http://ssorc.tw/5664)

數量配置
2 x data nodes
2 x SQL/NoSQL Application Nodes
2 x Management Nodes

MySQL Cluster 使用是要購買 License 的

MySQL Cluster 記憶體需求的計算公式:
(SizeofDatabase × NumberOfReplicas × 1.1 ) / NumberOfDataNodes

MySQL Cluster 叢集安裝環境介紹

* 官方建議叢集伺服器的節點(Node) 硬體配備最低需求:
CPU: Intel/AMD x86
Memory: 512MB RAM
HDD: 3GB
Network: 1+ nodes (Standard Ethernet - TCP/IP)
最佳硬體配備:
CPU: 2x Intel Xeon, Intel Itanium, AMD Opteron, Sun SPARC, IBM PowerPC
Memory: 16GB RAM
HDD: 4x 36GB SCSI (RAID 1 Controller)
Network: 1-8 Nodes (Gigabit Ethernet); 8+ Nodes (Dedicated Cluster Interconnect e.g. SCI)


要完成 MySQL 叢集的運作環境最少需要 3 台伺服器，MySQL 官方建議最少用 4 台 

Management 可以跟 SQL node 放同一台

Management 不能跟 Data node 放同一台

Management 掛了，不影響服務，除了 Data Node 跟著掛了，所以可以配置兩台 Management 防止

Split-Brain 是叢集應用中常見的問題。簡單的說，當叢集中的兩個節點間斷線時，便會認為對方停止服務，因此認為自己是叢集中唯一的節點，於是開始嘗試取代對方的服務，這種狀況通常稱為 Split-brain。