MariaDB 10.2.26 xtrabackup 重要步驟記錄

2024-09-07 22:12:50

字體：大中小

供稿：網(wǎng)友

  MariaDB 10.2.26 xtrabackup 重要步驟記錄：

　　1、創(chuàng)建測試用例庫表
　　Welcome to the MariaDB monitor. Commands end with ; or /g.
　　Your MariaDB connection id is 11
　　Server version: 10.2.26-MariaDB-log MariaDB Server

　　Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

　　Type 'help;' or '/h' for help. Type '/c' to clear the current input statement.

　　MariaDB [(none)]> create database full charset=utf8;
　　Query OK, 1 row affected (0.00 sec)

　　MariaDB [(none)]> create table full.incr(id int not null auto_increment primary key,tag varchar(256)) charset=utf8;
　　Query OK, 0 rows affected (0.02 sec)

　　MariaDB [(none)]> show table from full;
　　ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near 'from full' at line 1
　　MariaDB [(none)]> show tables from full;
　　+----------------+
　　| Tables_in_full |
　　+----------------+
　　| incr |
　　+----------------+
　　1 row in set (0.00 sec)

　　MariaDB [(none)]> select * from full.incr;
　　Empty set (0.00 sec)

　　MariaDB [(none)]> exit
　　Bye

　　2、執(zhí)行一次全備
　　[root@rec tmp]# innobackupex --user=root --no-timestamp /tmp/fullbak

　　3、添加一次增量數(shù)據(jù)
　　MariaDB [(none)]> insert into full.incr(tag) values("第1次增備后");
　　Query OK, 1 row affected (0.01 sec)

　　4、備份一次增量數(shù)據(jù)
　　[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/fullbak/ --incremental /tmp/incr/incr1

　　5、添加二次增量數(shù)據(jù)
　　MariaDB [(none)]> insert into full.incr(tag) values("第2次增備后");
　　Query OK, 1 row affected (0.01 sec)

　　6、備份二次增量數(shù)據(jù)
　　[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr1/ --incremental /tmp/incr/incr2

　　7、添加三次增量數(shù)據(jù)
　　MariaDB [(none)]> insert into full.incr(tag) values("第3次增備后");
　　Query OK, 1 row affected (0.30 sec)

　　8、備份三次增量數(shù)據(jù)
　　[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr2/ --incremental /tmp/incr/incr3

　　9、添加四次增量數(shù)據(jù)
　　MariaDB [(none)]> insert into full.incr(tag) values("第4次增備后");
　　Query OK, 1 row affected (0.30 sec)

　　10、備份四次增量數(shù)據(jù)
　　[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr3/ --incremental /tmp/incr/incr4

　　11、恢復(fù)準(zhǔn)備全備
　　[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/

　　12、恢復(fù)準(zhǔn)備第一次增備
　　[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr1

　　13、恢復(fù)準(zhǔn)備第二次增備
　　[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr2

　　14、恢復(fù)準(zhǔn)備第三次增備，這里并沒有恢復(fù)全部增量備份數(shù)據(jù)
　　[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr3

　　15、關(guān)閉db，為恢復(fù)測試刪除現(xiàn)有數(shù)據(jù)庫，千萬記住別再生產(chǎn)環(huán)境上直接刪除數(shù)據(jù)庫相關(guān)數(shù)據(jù)
　　[root@rec tmp]# /etc/init.d/mysql stop
　　Stopping mysql (via systemctl): [ 確定 ]
　　[root@rec tmp]# cd /var/lib/
　　[root@rec lib]# rm -rf mysql
　　[root@rec lib]# mkdir -p mysql

　　16、恢復(fù)--copy-back
　　[root@rec lib]# innobackupex --defaults-file=/etc/my.cnf --copy-back /tmp/fullbak/
　　190826 14:37:24 completed OK!

　　17、啟動觀察
　　[root@rec lib]# chown mysql.mysql -R mysql
　　[root@rec lib]# /etc/init.d/mysql start
　　Starting mysql (via systemctl): [ 確定 ]
　　[root@rec lib]# mysql
　　Welcome to the MariaDB monitor. Commands end with ; or /g.
　　Your MariaDB connection id is 9
　　Server version: 10.2.26-MariaDB-log MariaDB Server

　　Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

　　Type 'help;' or '/h' for help. Type '/c' to clear the current input statement.

　　MariaDB [(none)]> select * from full.incr;
　　+----+------------------+
　　| id | tag |
　　+----+------------------+
　　| 1 | 第1次增備后 |
　　| 2 | 第2次增備后 |
　　| 3 | 第3次增備后 |
　　+----+------------------+
　　3 rows in set (0.00 sec)

　　MariaDB [(none)]> exit
　　Bye

　　18、備份腳本
　　#backup.sh
　　#!/bin/sh
　　#on xtrabackup 2.2.8
　　#第一次執(zhí)行它的時候它會檢查是否有完全備份,否則先創(chuàng)建一個全庫備份
　　#當(dāng)你再次運(yùn)行它的時候，它會根據(jù)腳本中的設(shè)定來基于之前的全備或增量備份進(jìn)行增量備份

　　INNOBACKUPEX_PATH=/usr/bin/innobackupex #INNOBACKUPEX的命令
　　INNOBACKUPEXFULL=/usr/bin/innobackupex #INNOBACKUPEX的命令路徑

　　#mysql目標(biāo)服務(wù)器以及用戶名和密碼
　　MYSQL_CMD="--host=localhost --user=root --password=20190826 --port=3306"

　　MYSQL_UP=" --user=root --password='20190826' --port=3306 " #mysqladmin的用戶名和密碼

　　TMPLOG="/tmp/innobackupex.$$.log"

　　MY_CNF=/etc/my.cnf.d/wsrep.cnf #mysql的配置文件

　　MYSQL=/usr/bin/mysql

　　MYSQL_ADMIN=/usr/bin/mysqladmin

　　BACKUP_DIR=/backup # 備份的主目錄

　　FULLBACKUP_DIR=$BACKUP_DIR/full # 全庫備份的目錄

　　INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量備份的目錄

　　FULLBACKUP_INTERVAL=604800 # 全庫備份的間隔周期，時間：秒

　　KEEP_FULLBACKUP=1 # 至少保留幾個全庫備份

　　logfiledate=/backup/backup.`date +%Y%m%d%H%M`.txt

　　#開始時間
　　STARTED_TIME=`date +%s`

　　#############################################################################

　　# 顯示錯誤并退出

　　#############################################################################

　　error()
　　{
　　    echo "$1" 1>&2
　　    exit 1
　　}

　　# 檢查執(zhí)行環(huán)境

　　if [ ! -x $INNOBACKUPEXFULL ]; then
　　error "$INNOBACKUPEXFULL未安裝或未鏈接到/usr/bin."
　　fi

　　if [ ! -d $BACKUP_DIR ]; then
　　error "備份目標(biāo)文件夾:$BACKUP_DIR不存在."
　　fi

　　mysql_status=`netstat -nl | awk 'NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}'`

　　if [ "$mysql_status" != "Yes" ];then
　　    error "MySQL 沒有啟動運(yùn)行."
　　fi

　　if ! `echo 'exit' | $MYSQL -s $MYSQL_CMD` ; then
　　error "提供的數(shù)據(jù)庫用戶名或密碼不正確!"
　　fi

　　# 備份的頭部信息

　　echo "----------------------------"
　　echo
　　echo "$0: MySQL備份腳本"
　　echo "開始于: `date +%F' '%T' '%w`"
　　echo

　　#新建全備和差異備份的目錄

　　mkdir -p $FULLBACKUP_DIR
　　mkdir -p $INCRBACKUP_DIR

　　#查找最新的完全備份
　　LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P/n" | sort -nr | head -1`

　　# 查找最近修改的最新備份時間

　　LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`

　　#如果全備有效進(jìn)行增量備份否則執(zhí)行完全備份
　　if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then
　　    # 如果最新的全備未過期則以最新的全備文件名命名在增量備份目錄下新建目錄
　　    echo -e "完全備份$LATEST_FULL_BACKUP未過期,將根據(jù)$LATEST_FULL_BACKUP名字作為增量備份基礎(chǔ)目錄名"
　　    echo "                     "
　　    NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
　　    mkdir -p $NEW_INCRDIR

　　    # 查找最新的增量備份是否存在.指定一個備份的路徑作為增量備份的基礎(chǔ)
　　    LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P/n" | sort -nr | head -1`
　　        if [ ! $LATEST_INCR_BACKUP ] ; then
　　            INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP
　　            echo -e "增量備份將以$INCRBASEDIR作為備份基礎(chǔ)目錄"
　　            echo "                     "
　　        else
　　            INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}
　　            echo -e "增量備份將以$INCRBASEDIR作為備份基礎(chǔ)目錄"
　　            echo "                     "
　　        fi

　　    echo "使用$INCRBASEDIR作為基礎(chǔ)本次增量備份的基礎(chǔ)目錄."
　　    $INNOBACKUPEXFULL --defaults-file=$MY_CNF --galera-info --kill-long-query-type=select --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1

　　    #保留一份備份的詳細(xì)日志

　　    cat $TMPLOG>$logfiledate

　　    if [ -z "`tail -1 $TMPLOG | grep 'completed OK!'`" ] ; then
　　    echo "$INNOBACKUPEX命令執(zhí)行失敗:"; echo
　　    echo -e "---------- $INNOBACKUPEX_PATH錯誤 ----------"
　　    cat $TMPLOG
　　    /bin/rm -f $TMPLOG
　　    exit 1
　　    fi

　　    THISBACKUP=`awk -- "/Backup created in directory/ { split( ///$0, p, /"'/" ) ; print p[2] }" $TMPLOG`
　　    /bin/rm -f $TMPLOG

　　    echo -n "數(shù)據(jù)庫成功備份到:$THISBACKUP"
　　    echo

　　    # 提示應(yīng)該保留的備份文件起點(diǎn)

　　    LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P/n" | sort -nr | head -1`

　　    NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP

　　    LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P/n" | sort -nr | head -1`

　　    RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}

　　    RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`

　　    echo
　　    echo -e '/e[31m NOTE:---------------------------------------------------------------------------------./e[m' #紅色
　　    echo -e "必須保留$KEEP_FULLBACKUP份全備即全備${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目錄中所有增量備份."
　　    echo -e '/e[31m NOTE:---------------------------------------------------------------------------------./e[m' #紅色
　　    echo

　　else
　　    echo "*********************************"
　　    echo -e "find expire backup file...........waiting........."
　　    echo -e "尋找過期的全備文件并刪除">>$logfiledate
　　    for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +4)
　　    do
　　        if [ -d ${efile} ]; then
　　        /bin/rm -rf "${efile}"
　　        echo -e "刪除過期全備文件:${efile}" >>$logfiledate
　　        elif [ -f ${efile} ]; then
　　        /bin/rm -rf "${efile}"
　　        echo -e "刪除過期全備文件:${efile}" >>$logfiledate
　　        fi;

　　    done

　　    if [ $? -eq "0" ];then
　　        echo
　　        echo -e "未找到可以刪除的過期全備文件"
　　    fi
　　    echo -e "正在執(zhí)行全新的完全備份...請稍等..."
　　    echo "*********************************"
　　    $INNOBACKUPEXFULL --defaults-file=$MY_CNF --galera-info --kill-long-query-type=select --use-memory=4G $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1
　　    #保留一份備份的詳細(xì)日志

　　    cat $TMPLOG>$logfiledate

　　    if [ -z "`tail -1 $TMPLOG | grep 'completed OK!'`" ] ; then
　　    echo "$INNOBACKUPEX命令執(zhí)行失敗:"; echo
　　    echo -e "---------- $INNOBACKUPEX_PATH錯誤 ----------"
　　    cat $TMPLOG
　　    /bin/rm -f $TMPLOG
　　    exit 1
　　    fi

　　    THISBACKUP=`awk -- "/Backup created in directory/ { split( ///$0, p, /"'/" ) ; print p[2] }" $TMPLOG`
　　    /bin/rm -f $TMPLOG

　　    echo -n "數(shù)據(jù)庫成功備份到:$THISBACKUP"
　　    echo

　　    # 提示應(yīng)該保留的備份文件起點(diǎn)

　　    LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P/n" | sort -nr | head -1`

　　    RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}

　　    echo
　　    echo -e '/e[31m NOTE:---------------------------------------------------------------------------------./e[m' #紅色
　　    echo -e "無增量備份,必須保留$KEEP_FULLBACKUP份全備即全備${RES_FULL_BACKUP}."
　　    echo -e '/e[31m NOTE:---------------------------------------------------------------------------------./e[m' #紅色
　　    echo

　　fi

　　#刪除過期的全備

　　echo -e "find expire backup file...........waiting........."
　　echo -e "尋找過期的全備文件并刪除">>$logfiledate
　　for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +7)
　　do
　　    if [ -d ${efile} ]; then
　　    /bin/rm -rf "${efile}"
　　    echo -e "刪除過期全備文件:${efile}" >>$logfiledate
　　    elif [ -f ${efile} ]; then
　　    /bin/rm -rf "${efile}"
　　    echo -e "刪除過期全備文件:${efile}" >>$logfiledate
　　    fi;

　　done

　　if [ $? -eq "0" ];then
　　echo
　　echo -e "未找到可以刪除的過期全備文件"
　　fi
　　#增備
　　echo -e "尋找過期的增備文件并刪除" >>$logfiledate
　　for exfile in $(/usr/bin/find $INCRBACKUP_DIR/ -mtime +7)
　　do
　　    if [ -d ${exfile} ]; then
　　    /bin/rm -rf "${exfile}"
　　    echo -e "刪除過期增備文件:${exfile}" >>$logfiledate
　　    elif [ -f ${exfile} ]; then
　　    /bin/rm -rf "${exfile}"
　　    echo -e "刪除過期增備文件:${exfile}" >>$logfiledate
　　    fi;
　　done

　　if [ $? -eq 0 ]
　　then
　　    echo
　　    echo -e "未找到可以刪除的過期增備文件"
　　fi

　　echo
　　echo "完成于: `date +%F' '%T' '%w`"

　　exit 0
　　遇到問題
　　1、Mariadb 開啟innodb_safe_truncate報如下錯
　　InnoDB: Unsupported redo log format. The redo log was created with MariaDB 10.2.26. Please follow the instructions at http://dev.mysql.com/doc/refman/5.7/en/upgrading-downgrading.html
　　關(guān)閉即可
　　[root@rec mnt]# cat /etc/my.cnf.d/server.cnf |grep safe
　　innodb_safe_truncate=0
　　[root@rec mnt]#

　　2、長查詢造成阻塞，導(dǎo)致主從復(fù)制報延時
　　--kill-long-queries-timeout=120 、--kill-long-query-type=select

　　3、innobackupex常用參數(shù)：

　　--user=USER                     指定備份用戶，不指定的話為當(dāng)前系統(tǒng)用戶
　　--password=PASSWD               指定備份用戶密碼
　　--port=PORT                     指定數(shù)據(jù)庫端口
　　--defaults-group=GROUP-NAME     在多實(shí)例的時候使用
　　--host=HOST                     指定備份的主機(jī)，可以為遠(yuǎn)程數(shù)據(jù)庫服務(wù)器
　　--apply-log                     回滾日志
　　--database                      指定需要備份的數(shù)據(jù)庫，多個數(shù)據(jù)庫之間以空格分開
　　--defaults-file                 指定mysql的配置文件
　　--copy-back                     將備份數(shù)據(jù)復(fù)制回原始位置
　　--incremental                   增量備份，后面跟要增量備份的路徑
　　--incremental-basedir=DIRECTORY 增量備份時使用指向上一次的增量備份所在的目錄
　　--incremental-dir=DIRECTORY     增量備份還原的時候用來合并增量備份到全量，用來指定全備路徑
　　--redo-only                     對增量備份進(jìn)行合并
　　--rsync                         加快本地文件傳輸，適用于non-InnoDB數(shù)據(jù)庫引擎。不與--stream共用
　　--no-timestamp                  生成的備份文件不以時間戳為目錄.
　　--kill-long-queries-timeout     參數(shù)的作用的就是在Xtrabackup執(zhí)行FLUSH TABLES WITH READ LOCK以后，獲得全局讀鎖時，如果有正在執(zhí)行的事務(wù)會阻塞等待，kill-long-queries-timeout參數(shù)就是不為0時，xtrabackup內(nèi)部創(chuàng)建一個線程，連接到數(shù)據(jù)庫執(zhí)行show full processlist,如果TIME超過kill-long-queries-timeout，會kill掉線程
　　--kill-long-query-type          設(shè)置可以kill掉的sql類型。官方文檔介紹kill-long-query-type默認(rèn)值時all，也就是所有語句都會kill掉。但是在使用中發(fā)現(xiàn)，只設(shè)置kill-long-queries-timeout，未設(shè)置kill-long-query-type時，參數(shù)沒起作用！
　　--defaults-extra-file           該選項指定了在標(biāo)準(zhǔn)defaults-file之前從哪個額外的文件讀取MySQL配置，必須在命令行的第一個選項的位置。一般用于存?zhèn)浞萦脩舻挠脩裘兔艽a的配置文件。
　　--datadir                       backup的源目錄，mysql實(shí)例的數(shù)據(jù)目錄。從my.cnf中讀取，或者命令行指定。
　　--slave-info                    該選項表示對slave進(jìn)行備份的時候使用，打印出master的名字和binlog pos，同樣將這些信息以change 。master的命令寫入xtrabackup_slave_info文件。
　　--safe-slave-backup             該選項表示為保證一致性復(fù)制狀態(tài)，這個選項停止SQL線程并且等到show status中的slave_open_temp_tables為0的時候開始備份，如果沒有打開臨時表，bakcup會立刻開始，否則SQL線程將關(guān)閉直到?jīng)]有打開的臨時表。如果slave_open_temp_tables在--safe-slave-backup-timeount（默認(rèn)300秒）秒之后不為0，從庫sql線程會在備份完成的時候重啟。
　　--ftwrl-wait-query-type         該選項表示獲得全局鎖之前允許那種查詢完成，默認(rèn)是ALL，可選update。
　　--history                       該選項表示percona server 的備份歷史記錄在percona_schema.xtrabackup_history表。
　　--backup                        創(chuàng)建備份并且放入--target-dir目錄中。
　　--parallel                      指定備份時拷貝多個數(shù)據(jù)文件并發(fā)的進(jìn)程數(shù)，默認(rèn)值為1。
　　--compress                      該選項表示壓縮innodb數(shù)據(jù)文件的備份。
　　--compress-threads              該選項表示并行壓縮worker線程的數(shù)量。
　　--stream                        該選項表示流式備份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。
　　--encrypt                       該選項表示通過ENCRYPTION_ALGORITHM的算法加密innodb數(shù)據(jù)文件的備份，目前支持的算法有ASE128,AES192,AES256。
　　--encrypt-threads               該選項表示并行加密的worker線程數(shù)量。
　　--encryption-key-file           該選項表示文件必須是一個簡單二進(jìn)制或者文本文件，加密key可通過以下命令行命令生成：openssl rand -base64 24。
　　--galera-info                   該選項表示生成了包含創(chuàng)建備份時候本地節(jié)點(diǎn)狀態(tài)的文件xtrabackup_galera_info文件，該選項只適用于備份PXC。

（編輯：武林網(wǎng)）

上一篇：mariadb安裝

下一篇：數(shù)據(jù)表類型