麻豆小视频在线观看_中文黄色一级片_久久久成人精品_成片免费观看视频大全_午夜精品久久久久久久99热浪潮_成人一区二区三区四区

首頁 > 服務(wù)器 > 管理維護(hù) > 正文

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題

2024-09-10 14:20:37
字體:
供稿:網(wǎng)友

企業(yè)備份系統(tǒng)規(guī)劃過程中必然遇到的七個(gè)關(guān)鍵問題。對(duì)于每一個(gè)企業(yè)來講,數(shù)據(jù)備份都是必不可少的一項(xiàng)關(guān)鍵性工作,它直接決定著企業(yè)能夠應(yīng)對(duì)什么樣的數(shù)據(jù)威脅以及相應(yīng)解決方案的靈活度和有效性。但是在IT飛速發(fā)展的今天,每一個(gè)企業(yè)的應(yīng)用系統(tǒng)在不斷增加,數(shù)據(jù)類型在不斷的多樣化,數(shù)據(jù)的量級(jí)也在不斷的擴(kuò)展。在這種形勢(shì)下,如何能把備份系統(tǒng)規(guī)劃的科學(xué)合理并且高效化是作為IT建設(shè)者必須考慮的問題。

本文通過大量的調(diào)研分析總結(jié)抽象出備份系統(tǒng)規(guī)劃時(shí)必須考慮的幾個(gè)關(guān)鍵性問題,并針對(duì)每一個(gè)問題進(jìn)行分析和論述,提出解決思路。希望能給企業(yè)進(jìn)行備份系統(tǒng)建設(shè)、改造或者升級(jí)的項(xiàng)目帶來一些啟示和幫助。

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題_www.cuoXin.com

1.如何確定備份對(duì)象及備份策略

近些年來,企業(yè)的數(shù)據(jù)逐漸呈現(xiàn)多元化格局,從數(shù)據(jù)的模型層面可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。從企業(yè)IT功能層面又可以將常見數(shù)據(jù)列為如下幾類:

  • 關(guān)系型數(shù)據(jù)庫中保存的二維表數(shù)據(jù)。

  • 非關(guān)系型數(shù)據(jù)庫中的文檔、JSON、鍵值等類型數(shù)據(jù)。

  • 以文字方式記錄的文本、PDF、XML等文件形式的數(shù)據(jù)。

  • 以二進(jìn)制方式記錄形成的圖片、網(wǎng)頁等數(shù)據(jù)。

  • 以視頻流方式記錄形成的媒體類數(shù)據(jù)。

作為企業(yè)來講,確定備份哪些數(shù)據(jù)對(duì)象,需要從數(shù)據(jù)重要性、數(shù)據(jù)量、數(shù)據(jù)特點(diǎn)等若干方面去評(píng)估。從企業(yè)業(yè)務(wù)角度評(píng)估的話,那么數(shù)據(jù)庫保存的數(shù)據(jù)一定是最重要的,尤其是關(guān)系型數(shù)據(jù)庫里面的二維表數(shù)據(jù)。其次需要根據(jù)行業(yè)特點(diǎn)以及具體的業(yè)務(wù)系統(tǒng)重要性來評(píng)估非結(jié)構(gòu)化數(shù)據(jù)的重要性。比如對(duì)于金融行業(yè)來講,記錄業(yè)務(wù)過程的一些影像類數(shù)據(jù)可能在業(yè)務(wù)審核過程中經(jīng)常被調(diào)出查閱,這些數(shù)據(jù)雖然沒有結(jié)構(gòu)化數(shù)據(jù)那么重要但是也是業(yè)務(wù)環(huán)節(jié)當(dāng)中比不可少的元素,其重要性相對(duì)業(yè)務(wù)視頻類以及安防類視頻數(shù)據(jù)會(huì)高很多。但是如果是媒體行業(yè)的話,那么視頻類數(shù)據(jù)的重要性恰恰是支撐其業(yè)務(wù)的核心數(shù)據(jù),其重要程度不言而喻。那么如何來決定哪些數(shù)據(jù)需要備份,以什么樣的策略備份?

首先,我們需要確定數(shù)據(jù)的重要性程度。本文通過結(jié)果導(dǎo)向的思路從以下維度來分析企業(yè)數(shù)據(jù)的重要性,最終決定哪些數(shù)據(jù)需要備份,哪些數(shù)據(jù)可以不備份,哪些數(shù)據(jù)需要根據(jù)企業(yè)的實(shí)際投資戰(zhàn)略情況來決定。首先我們假定一個(gè)結(jié)果,那就是某個(gè)應(yīng)用系統(tǒng)的某類型數(shù)據(jù)由于硬件故障或者其他原因?qū)е聰?shù)據(jù)丟失掉了。那么就看企業(yè)對(duì)該結(jié)果的容忍程度,假設(shè)不能容忍,那么就沒什么好商量的了,肯定要做備份。接下來,最重要的事情是我們?nèi)绾味x數(shù)據(jù)備份的策略,包括備份的頻度、備份的模式、歸檔的檔期等等一系列備份作業(yè)元素。這部分內(nèi)容需要考慮到數(shù)據(jù)本身的量級(jí)、數(shù)據(jù)的具體類型、極端條件下對(duì)數(shù)據(jù)恢復(fù)時(shí)間及數(shù)據(jù)丟失量的容忍程度、數(shù)據(jù)備份系統(tǒng)以及備份介質(zhì)本身的性能特性、業(yè)務(wù)發(fā)展的規(guī)模及趨勢(shì)判斷等等。本文從以下幾個(gè)原則來進(jìn)行評(píng)估:

  • 數(shù)據(jù)庫的備份既要有全量備份也要有歸檔日志的備份,全量備份可以根據(jù)數(shù)據(jù)量及重要程度以天為單位進(jìn)行頻度調(diào)整;歸檔備份可以根據(jù)數(shù)據(jù)庫恢復(fù)區(qū)空間預(yù)留、歸檔增長(zhǎng)趨勢(shì)、數(shù)據(jù)恢復(fù)時(shí)間要求、業(yè)務(wù)系統(tǒng)歸檔特點(diǎn)等多方面來進(jìn)行以小時(shí)為單位的頻度調(diào)整和作業(yè)發(fā)起調(diào)用。

  • 文件類型數(shù)據(jù)可以根據(jù)具體數(shù)據(jù)量來選擇是否利用傳統(tǒng)的文件復(fù)制方式來實(shí)現(xiàn)其備份,對(duì)于數(shù)據(jù)量大的情況可以采用存儲(chǔ)快照方式進(jìn)行卷級(jí)別的復(fù)制代替以文件為單位的掃描復(fù)制方式。

  • 系統(tǒng)備份作業(yè)的分布以及備份時(shí)間需要結(jié)合具體的備份窗口來進(jìn)行合理調(diào)整,關(guān)鍵業(yè)務(wù)系統(tǒng)的備份作業(yè)不能影響到正常的業(yè)務(wù),需要有強(qiáng)制的約束條件來約束備份作業(yè)時(shí)間跨度。尤其是全量備份,隨著業(yè)務(wù)不斷發(fā)展,數(shù)據(jù)量會(huì)與日俱增,如果對(duì)備份作業(yè)不進(jìn)行任何調(diào)整,那么很有可能原有備份作業(yè)會(huì)超越備份窗口影響到業(yè)務(wù)性能。

  • 根據(jù)具體的數(shù)據(jù)類型和業(yè)務(wù)重要性對(duì)所有備份作業(yè)進(jìn)行分級(jí)管理。有些數(shù)據(jù)需要持續(xù)備份,有些數(shù)據(jù)可能只需要在特殊變更日進(jìn)行備份即可,例如虛擬化的VMDK文件數(shù)據(jù),完全沒有必要進(jìn)行持續(xù)備份,只需要在變更后進(jìn)行備份即可。

以上是對(duì)備份對(duì)象的確定以及如何把握具體的備份策略的分析和描述,具體細(xì)節(jié)及關(guān)鍵方法在接下來的章節(jié)會(huì)有詳細(xì)的剖析和介紹。

2.如何選擇備份架構(gòu)的問題

2.1 備份系統(tǒng)涉及到的關(guān)鍵對(duì)象

所謂備份系統(tǒng)中的一些關(guān)鍵對(duì)象包括:備份軟件、備份介質(zhì)、備份管理服務(wù)器、備份作業(yè)服務(wù)器、備份路徑等。這些關(guān)鍵元素共同組成了一個(gè)完成的備份系統(tǒng)。

  • 備份軟件:常用的備份軟件包括IBM TSM、EMC Networker、SYMANTIC NBU等。

  • 備份介質(zhì):常用的備份介質(zhì)包括帶庫、EMC DATADomain、常規(guī)存儲(chǔ)等。

  • 備份管理服務(wù)器:對(duì)備份作業(yè)進(jìn)行配置調(diào)度并且保存?zhèn)浞菰獢?shù)據(jù)的集中管理節(jié)點(diǎn)。

  • 備份作業(yè)服務(wù)器:具體執(zhí)行備份作業(yè)的備份服務(wù)器。

  • 備份路徑:每一個(gè)備份作業(yè)從客戶端采集數(shù)據(jù)到備份介質(zhì)的整個(gè)路徑。

2.2 基于容災(zāi)功能的備份架構(gòu)

一般的企業(yè)可能只需要進(jìn)行本地備份即可,但是對(duì)于某些行業(yè)尤其是金融行業(yè),備份要求比較高,需要采用主數(shù)據(jù)中心和備數(shù)據(jù)中心聯(lián)動(dòng)的高可用備份架構(gòu)。具體如下圖所示:

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題_www.cuoXin.com

整體架構(gòu)從上到下分為三層:備份客戶端層、備份控制層以及數(shù)據(jù)存儲(chǔ)層。中間通過網(wǎng)絡(luò)(以太網(wǎng)絡(luò)或者是光纖網(wǎng)絡(luò))相連接。紅色線表示控制信息流向,藍(lán)色線表示備份過程中的數(shù)據(jù)流向。

  • 備份客戶端層,圖中最上面的部分既是。備份客戶端是我們要備份的數(shù)據(jù)對(duì)象存放的服務(wù)器,例如數(shù)據(jù)庫服務(wù)器、虛擬化平臺(tái)的VCenter、NAS服務(wù)器等。一般需要備份軟件的客戶端AGENT安裝到備份對(duì)象服務(wù)器上實(shí)現(xiàn)備份目標(biāo)與備份服務(wù)器的通訊。

  • 備份控制層,圖中中間的部分既是。主要包括備份主服務(wù)器和備份作業(yè)服務(wù)器,主服務(wù)器根據(jù)配置好的調(diào)度策略以及整體架構(gòu)中的備份元素發(fā)送作業(yè)調(diào)度指令,并且將存儲(chǔ)片的元數(shù)據(jù)存儲(chǔ)到主服務(wù)器上的數(shù)據(jù)庫當(dāng)中。然后作業(yè)服務(wù)器可以通過與客戶端的交互完成具體備份作業(yè)。元數(shù)據(jù)是具體備份片的索引信息、而真正的備份片數(shù)據(jù)會(huì)通過作業(yè)服務(wù)器送入備份介質(zhì)當(dāng)中,當(dāng)我們對(duì)數(shù)據(jù)進(jìn)行恢復(fù)時(shí),首先需要對(duì)備份數(shù)據(jù)的元數(shù)據(jù)分析才能知道具體的數(shù)據(jù)備份位置及組合信息等,然后才能通過元數(shù)據(jù)的組織和具體備份片的恢復(fù)完成一個(gè)業(yè)務(wù)數(shù)據(jù)的完整恢復(fù)。

  • 數(shù)據(jù)存儲(chǔ)層,圖中對(duì)下面的部分既是。實(shí)際上就是備份數(shù)據(jù)最終要存儲(chǔ)的地方,可以通過光纖網(wǎng)絡(luò)或者以太網(wǎng)絡(luò)實(shí)現(xiàn)其與備份控制層的連接。傳統(tǒng)模式一般會(huì)是光纖網(wǎng)絡(luò)和虛擬帶庫的組合模式,其優(yōu)點(diǎn)在于備份速度和容量的性價(jià)比上。但是近些年來隨著以太網(wǎng)技術(shù)的發(fā)展,利用高速網(wǎng)絡(luò)實(shí)現(xiàn)的備份數(shù)據(jù)傳輸同樣可以保障其備份速度,同時(shí)具備更好的靈活性。所以近些年來利用萬兆以太網(wǎng)和DDBoast組合的方式也越來越多。

2.3 備份架構(gòu)高可用性分析

整個(gè)備份系統(tǒng)的高可用性是由每一個(gè)部分服務(wù)的高可用配置來保障的,主要包括備份控制層、備份存儲(chǔ)介質(zhì)層以及跨數(shù)據(jù)中心級(jí)別的高可用架構(gòu)配置。下面我們分別來做剖析:

  • 主備份服務(wù)器是整個(gè)備份系統(tǒng)的集中控制節(jié)點(diǎn),其保存的元數(shù)據(jù)也是備份得以恢復(fù)的關(guān)鍵數(shù)據(jù),因此為了保障主服務(wù)器的不間斷工作,需要保障主服務(wù)器為主備或者更高級(jí)別的高可用架構(gòu),元數(shù)據(jù)為所有本地主服務(wù)器共享,如圖2.2中所示的HA模式。

  • 作業(yè)服務(wù)器是所有備份作業(yè)的執(zhí)行者,必須將其組成一個(gè)備份作業(yè)服務(wù)器池,由這個(gè)備份作業(yè)服務(wù)器池向客戶端提供統(tǒng)一備份作業(yè)服務(wù)才能保障備份作業(yè)的不間斷性以及備份作業(yè)并發(fā)執(zhí)行的性能,備份作業(yè)可以分布在不同的作業(yè)服務(wù)器節(jié)點(diǎn)上進(jìn)行作業(yè),如圖2.2中所示的負(fù)載均衡資源池模式。

  • 從備份存儲(chǔ)介質(zhì)層面上來看,為了保障備份作業(yè)無中斷目標(biāo),我們需要將兩個(gè)或者多個(gè)存儲(chǔ)介質(zhì)設(shè)備綁定為一個(gè)虛擬的存儲(chǔ)介質(zhì)池,當(dāng)存儲(chǔ)介質(zhì)發(fā)生故障時(shí)可以自動(dòng)切換存儲(chǔ)介質(zhì)設(shè)備,至少可以手動(dòng)切換存儲(chǔ)介質(zhì)設(shè)備。

  • 容災(zāi)角度來看,如圖2.2所示:兩個(gè)備份域之間備份介質(zhì)可以通過光纖網(wǎng)絡(luò)層或者是以太網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的異步復(fù)制,這樣可以保障真正的備份數(shù)據(jù)可以跨地域?qū)崿F(xiàn)數(shù)據(jù)保護(hù),但是光有這些數(shù)據(jù)我們無法實(shí)施數(shù)據(jù)恢復(fù),因?yàn)閿?shù)據(jù)恢復(fù)過程中最主要的是要根據(jù)元數(shù)據(jù)記錄的備份片索引及結(jié)構(gòu)目錄找到真正的數(shù)據(jù)備份片實(shí)現(xiàn)完整的數(shù)據(jù)恢復(fù)。所以主備份服務(wù)器也要實(shí)現(xiàn)跨域界別的元數(shù)據(jù)復(fù)制。

3.如何解決非結(jié)構(gòu)化數(shù)據(jù)備份的問題

3.1 非結(jié)構(gòu)化數(shù)據(jù)備份面臨的困境

對(duì)于存儲(chǔ)在傳統(tǒng)NAS文件系統(tǒng)上的文件類數(shù)據(jù),如果用通用的備份方法只能通過文件復(fù)制的方式來實(shí)現(xiàn)其全量和增量備份。但是隨著日積月累的非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng),這類數(shù)據(jù)可能會(huì)從TB級(jí)別發(fā)展到10TB甚至PB級(jí)別。這類數(shù)據(jù)存儲(chǔ)組織的方式是文件系統(tǒng)的樹目錄形式,隨著數(shù)據(jù)的增加,其目錄的深度和規(guī)模也會(huì)呈現(xiàn)劇增趨勢(shì)。備份軟件在掃描文件目錄的時(shí)候會(huì)變得非常非常慢,最終導(dǎo)致備份作業(yè)慢到超過備份窗口的程度。

3.2 業(yè)務(wù)管理層面的解決方案

如果從業(yè)務(wù)管理層面來解決該問題的話,那么就是要讓備份作業(yè)在一定時(shí)間段內(nèi)保持在合理的數(shù)據(jù)量范圍之內(nèi),也就是說要形成合理的多級(jí)數(shù)據(jù)緩存,根據(jù)數(shù)據(jù)使用頻度建立多級(jí)轉(zhuǎn)儲(chǔ)以及歸檔體系。保障使用頻度高的數(shù)據(jù)在日常備份作業(yè)范圍內(nèi),合理歸檔使用頻率非常低的歷史數(shù)據(jù)。拿金融行業(yè)的票據(jù)、信貸類系統(tǒng)來說,我們可以將合理業(yè)務(wù)周期內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)存在在一級(jí)緩存當(dāng)中,保障業(yè)務(wù)復(fù)核階段的數(shù)據(jù)讀取;將業(yè)務(wù)周期外的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)儲(chǔ)到二級(jí)NAS平臺(tái)上,保障近期內(nèi)可能使用到的業(yè)務(wù)場(chǎng)景;將較長(zhǎng)周期之前的數(shù)據(jù)定義為離線數(shù)據(jù),歸檔到歸檔存儲(chǔ)設(shè)備當(dāng)中。備份僅僅涉及到歸檔之前的數(shù)據(jù)。這樣既可以保障數(shù)據(jù)存取的性能,又能保障備份作業(yè)的長(zhǎng)期穩(wěn)定性,最終保障備份系統(tǒng)整體的安全穩(wěn)定。

3.3 技術(shù)管理層面的解決方案

通過3.1章節(jié)對(duì)問題的原因分析,我們知道導(dǎo)致備份無法進(jìn)行的原因在于備份軟件對(duì)于龐大文件系統(tǒng)目錄的掃描時(shí)間過長(zhǎng)。那么順著這個(gè)思路,如果我們?cè)趥浞莸臅r(shí)候能避免去掃描整個(gè)文件系統(tǒng)目錄,而是通過別的方式來完成備份,就可以解決這個(gè)問題。通過調(diào)查研究我們發(fā)現(xiàn)目有兩種方法可以實(shí)現(xiàn):

1)傳統(tǒng)NAS的快照方式。對(duì)于傳統(tǒng)的NAS存儲(chǔ)來講,快照是非常普遍的功能,通過NAS本身的快照復(fù)制,我們可以不用掃描文件系統(tǒng)沒目錄,僅僅基于某一個(gè)時(shí)刻點(diǎn)的快照,進(jìn)行卷級(jí)別的復(fù)制實(shí)現(xiàn)全量備份;通過塊兒級(jí)別的對(duì)比實(shí)現(xiàn)增量備份,因?yàn)镹AS設(shè)備底層還是基于塊兒設(shè)備實(shí)現(xiàn)的。當(dāng)然這種技術(shù)需要對(duì)存儲(chǔ)本身的快照功能有非常強(qiáng)的依賴性。

2)分布式NAS存儲(chǔ)的日志記錄方式。某些基于分布式技術(shù)實(shí)現(xiàn)的NAS存儲(chǔ)可以對(duì)外提供日志操作的接口,也就是說對(duì)文件數(shù)據(jù)的增加和更新會(huì)記錄到存儲(chǔ)本身的底層日志當(dāng)中,那么我們僅僅需要調(diào)用日志比對(duì)的接口就可以快速找到更新的目錄和文件,僅僅需要掃描更新的部分做增量的復(fù)制來完成備份。

以上的兩種技術(shù)方案需要我們?cè)谧鰝浞菀?guī)劃之前的選型階段對(duì)不同的備份軟件及存儲(chǔ)介質(zhì)等進(jìn)行深度調(diào)研和分析,盡可能科學(xué)合理組合實(shí)現(xiàn)以上解決方案。

4.如何解決平衡數(shù)據(jù)庫歸檔頻度和數(shù)據(jù)恢復(fù)完整性

4.1 數(shù)據(jù)庫恢復(fù)的基本原理

對(duì)于數(shù)據(jù)庫的恢復(fù)來說有很多種,我們只討論需要介質(zhì)恢復(fù)的情況。在這種場(chǎng)合下,首先我們需要找到一個(gè)最近時(shí)刻點(diǎn)的全量備份進(jìn)行恢復(fù);然后需要從備份介質(zhì)上找到這個(gè)時(shí)刻點(diǎn)之后的重做日志進(jìn)行數(shù)據(jù)追平,最后我們需要找到本地沒有丟失的重做日志進(jìn)行再次追平直到?jīng)]有可用日志。如下圖所示:

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題_www.cuoXin.com

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題_www.cuoXin.com

如圖所示,在時(shí)刻A,我們開始做在線全庫備份,在B時(shí)刻全庫備份結(jié)束。當(dāng)數(shù)據(jù)庫運(yùn)行到E時(shí)刻之后數(shù)據(jù)庫發(fā)生了重大介質(zhì)故障,只能通過介質(zhì)恢復(fù)。那么在A~C時(shí)間段內(nèi),大部分REDO日志文件都已經(jīng)歸檔到備份介質(zhì)池當(dāng)中,服務(wù)器本地存儲(chǔ)目錄當(dāng)中只剩下C~E(小于一個(gè)歸檔備份時(shí)間間隔)的歸檔日志和沒有來得及歸檔的REDO日志文件。假設(shè)發(fā)生的故障嚴(yán)重到服務(wù)器本地存儲(chǔ)目錄也無法恢復(fù)的時(shí)候,那么相當(dāng)于在C-E這段時(shí)間產(chǎn)生的重做日志就丟失掉了。相當(dāng)在這種極端場(chǎng)合下,數(shù)據(jù)丟失的最大窗口就是一個(gè)歸檔間隔時(shí)間段。當(dāng)然如果把這個(gè)間隔設(shè)置的足夠小的話,那么另外的問題就產(chǎn)生了,備份作業(yè)隨著系統(tǒng)增加會(huì)呈爆發(fā)式并發(fā)啟動(dòng)狀態(tài),最終會(huì)影響到整個(gè)備份系統(tǒng)的健康運(yùn)行導(dǎo)致歸檔無法及時(shí)轉(zhuǎn)儲(chǔ),最終還是可能會(huì)導(dǎo)致數(shù)據(jù)庫的宕機(jī)。這就是一個(gè)矛盾,需要我們?nèi)ズ芎玫钠胶狻?/p>

4.2 平衡數(shù)據(jù)庫歸檔頻率的方法

數(shù)據(jù)庫歸檔備份的頻率是指一天24小時(shí)內(nèi)間隔多長(zhǎng)時(shí)間進(jìn)行一次歸檔日志的備份,一方面是要保障增量數(shù)據(jù)備份的完整性,另外一方面是要避免因?yàn)榛謴?fù)空間不足導(dǎo)致數(shù)據(jù)庫的宕機(jī)時(shí)間。要平衡這個(gè)頻率窗口需要采集以下幾類數(shù)據(jù):

1)單位時(shí)間內(nèi)不同數(shù)據(jù)庫系統(tǒng)平均的歸檔日志量。

采集這個(gè)數(shù)據(jù)的目的在于詳細(xì)分析不同業(yè)務(wù)系統(tǒng)在不同時(shí)間段的寫操作頻繁程度。對(duì)于日志歸檔速度較快的系統(tǒng),我們需要提高其恢復(fù)區(qū)的空間大小,同時(shí)加快歸檔備份的頻率,使得數(shù)據(jù)庫既能處于安全運(yùn)行狀態(tài)又能保障極端故障場(chǎng)合下數(shù)據(jù)丟失的量在較小范圍之內(nèi)。

2)業(yè)務(wù)系統(tǒng)類型。

所謂業(yè)務(wù)系統(tǒng)類型即OLTP或者是OLAP,因?yàn)閷?duì)于OLAP來講,每次的讀寫操作都會(huì)是批量的執(zhí)行,它的歸檔速度是正常OLAP系統(tǒng)的幾十倍甚至上百倍。最麻煩的是兩者皆有的業(yè)務(wù)系統(tǒng),比如說銀行業(yè)中的交易系統(tǒng),白天跑聯(lián)機(jī)交易,晚上跑核算批量,白天和晚上的日志歸檔速度有著巨大的反差。那么我們就需要在批量作業(yè)時(shí)間段內(nèi)將備份頻率調(diào)快,將恢復(fù)區(qū)空間設(shè)置提高。

3)備份系統(tǒng)可以容忍的最大并發(fā)量。

備份系統(tǒng)可以容忍的最大并發(fā)Jobs,不僅僅取決于備份軟件系統(tǒng)可以并發(fā)調(diào)度的作業(yè)數(shù)目和備份作業(yè)服務(wù)器的數(shù)目,還要取決于備份介質(zhì)池可以容忍的資源消耗限制。及時(shí)我們可以同時(shí)調(diào)度幾百個(gè)作業(yè),但是當(dāng)幾十個(gè)作業(yè)同時(shí)寫入備份介質(zhì)池時(shí)就會(huì)把備份介質(zhì)池的計(jì)算資源或者是IO資源使用殆盡。那么最終整個(gè)備份系統(tǒng)的并發(fā)數(shù)取決于短板因素。

4)不同數(shù)據(jù)庫系統(tǒng)恢復(fù)區(qū)能夠支撐最小時(shí)間窗口。

這個(gè)最小時(shí)間窗口是我們用數(shù)據(jù)庫的恢復(fù)區(qū)可用空間大小/單位時(shí)間內(nèi)的最大歸檔速度來估算出來的時(shí)間窗口。因?yàn)槲覀冊(cè)诎惭b數(shù)據(jù)庫或者是做變更的時(shí)候不可能按照每一個(gè)系統(tǒng)的特點(diǎn)詳細(xì)計(jì)算出其日志存儲(chǔ)空間的大小,只能按照有限的幾個(gè)規(guī)格來做初始規(guī)劃。

有了以上數(shù)據(jù)之后,我們需要根據(jù)以下幾個(gè)原則來詳細(xì)設(shè)計(jì)我們的歸檔作業(yè)頻率。

首先,根據(jù)4當(dāng)中采集到的數(shù)據(jù),將時(shí)間窗口較小的幾個(gè)系統(tǒng)進(jìn)行存儲(chǔ)空間調(diào)整,使其日志存儲(chǔ)空間能夠滿足我們期望的最小時(shí)間標(biāo)準(zhǔn)。

然后,將一天24小時(shí)定義為幾個(gè)時(shí)間段,批量業(yè)務(wù)集中的時(shí)間段、聯(lián)機(jī)業(yè)務(wù)集中的時(shí)間段、特殊任務(wù)集中的時(shí)間段等。當(dāng)然這個(gè)定義主要是根據(jù)1&2中采集到的詳細(xì)數(shù)據(jù)來定義的。

接著,我們需要根據(jù)1中數(shù)據(jù)估算出一個(gè)歸檔作業(yè)大概持續(xù)的時(shí)間長(zhǎng)度。為保障每一個(gè)時(shí)刻點(diǎn)的并發(fā)執(zhí)行備份作業(yè)數(shù)目遠(yuǎn)小于3中估算出來的數(shù)據(jù)。

最后,需要把備份作業(yè)的頻度根據(jù)不同的時(shí)間段特點(diǎn)調(diào)整到以上條件都滿足的狀態(tài),并在此前提條件下可以為了保障極端情況下的數(shù)據(jù)完整性而適當(dāng)調(diào)快歸檔作業(yè)的備份頻率。下圖是一個(gè)根據(jù)以上采集數(shù)據(jù)進(jìn)行多維分析的實(shí)例,僅僅是一個(gè)方法示意,歸檔頻率根據(jù)數(shù)據(jù)重要性分級(jí)、歸檔速度、業(yè)務(wù)時(shí)間段分類等前提進(jìn)行的粗略分析,最下面的一行數(shù)字表示每一個(gè)時(shí)刻點(diǎn)并發(fā)的歸檔備份數(shù)目,其目標(biāo)在于平衡每一個(gè)時(shí)間間隔內(nèi)的平均備份作業(yè)數(shù)。實(shí)際情況會(huì)比以下情況復(fù)雜很多,我們可以將時(shí)間間隔劃分的更小,涉及的因素更多,分析的更加細(xì)致。、

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題_www.cuoXin.com

5.如何評(píng)估數(shù)據(jù)庫全量備份的策略

數(shù)據(jù)庫的全量備份來講,隨著數(shù)據(jù)量的不斷增加,其備份作業(yè)耗費(fèi)的時(shí)間也就會(huì)越長(zhǎng),耗費(fèi)的數(shù)據(jù)庫資源也越多,對(duì)在線業(yè)務(wù)的影響也就越大。另外同一個(gè)時(shí)間段內(nèi)發(fā)起的全量備份越多,那么其占用的備份系統(tǒng)整體資源(備份服務(wù)器、備份介質(zhì)池、鏈路帶寬等)也就會(huì)越多,其影響范圍也會(huì)越廣。

首先,這個(gè)問題是一個(gè)需要不斷優(yōu)化的問題。對(duì)于每一個(gè)應(yīng)用系統(tǒng)來講,根據(jù)業(yè)務(wù)服務(wù)的特點(diǎn),其備份的時(shí)間窗口也是不同的。可能初期備份作業(yè)能夠在備份窗口內(nèi)完成,但是隨著數(shù)據(jù)量的增長(zhǎng),后期的備份作業(yè)就會(huì)超過備份時(shí)間窗口。所以我們需要定期監(jiān)控?cái)?shù)據(jù)庫的全量備份作業(yè)時(shí)間,在事件窗口范圍內(nèi)盡量通過調(diào)整合適的調(diào)度時(shí)間來完成全量備份。但是當(dāng)數(shù)據(jù)量增長(zhǎng)到完全沒辦法在備份窗口完成的時(shí)候,那么我們就需要進(jìn)行調(diào)整全量備份的頻度和具體調(diào)度時(shí)間點(diǎn)了。

其次,這個(gè)問題是一個(gè)跟業(yè)務(wù)特點(diǎn)密切相關(guān)的的問題。有些人喜歡把所有的業(yè)務(wù)系統(tǒng)都按照一個(gè)標(biāo)準(zhǔn)去定義其數(shù)據(jù)庫全量備份的策略。比如說TB以下的數(shù)據(jù)庫,每天一次全量備份;比如說業(yè)務(wù)等級(jí)屬于重要的系統(tǒng),每天一次全量備份;比如說只要能備份的系統(tǒng),全部進(jìn)行每天一次的全量備份等等策略。這些都是不科學(xué)的策略。應(yīng)該從業(yè)務(wù)系統(tǒng)的數(shù)據(jù)重要性去評(píng)估數(shù)據(jù)庫全量備分的頻率,在現(xiàn)有備份系統(tǒng)有限的處理能力內(nèi)保障數(shù)據(jù)重要性高的系統(tǒng)完成相應(yīng)的全量備份。

最后,這個(gè)問題是一個(gè)需要從各個(gè)方面著手去解決的問題。從備份網(wǎng)絡(luò)的帶寬和隔離性考慮,應(yīng)該用單獨(dú)的告訴備份網(wǎng)絡(luò),備份客戶端應(yīng)該設(shè)置區(qū)分于業(yè)務(wù)的單獨(dú)網(wǎng)絡(luò)通道及配置。從備份作業(yè)服務(wù)器的配置層面,我們應(yīng)該配置相對(duì)合理的資源(內(nèi)存、磁盤)來保障備份片在作業(yè)服務(wù)器層沒有瓶頸。從備份介質(zhì)池層面,我們需要保障備份介質(zhì)的IO處理能力不能成為備份作業(yè)底端的性能瓶頸。

6.如何解決備份作業(yè)分布合理性問題

其實(shí)這個(gè)問題很簡(jiǎn)單,目的就是要保障備份時(shí)間窗口內(nèi)調(diào)度起來以及運(yùn)行過程中的備份作業(yè)處于一種平衡狀態(tài),不能使其作業(yè)調(diào)用或者是并發(fā)運(yùn)行過于集中。但是當(dāng)系統(tǒng)數(shù)目非常多,系統(tǒng)特點(diǎn)復(fù)雜,數(shù)據(jù)重要性級(jí)別有很多種,數(shù)據(jù)量以及數(shù)據(jù)增速各不相同時(shí),這個(gè)問題就變得比較復(fù)雜。我們很難有一種精確的計(jì)算方法來實(shí)現(xiàn)其做到絕對(duì),但是我們可以根據(jù)以下的方法進(jìn)行定性的分析和調(diào)整。

假設(shè)我們定義一個(gè)系統(tǒng)的備份作業(yè)在備份體系當(dāng)中必須具備的屬性為:

P1 - 應(yīng)用系統(tǒng)數(shù)據(jù)的重要性級(jí)別屬性,可以通過業(yè)務(wù)分析劃分為有限的幾個(gè)級(jí)別。

P2 - 應(yīng)用系統(tǒng)在不同時(shí)間段內(nèi)的數(shù)據(jù)增量屬性,需要通過梳理歷史數(shù)據(jù)來評(píng)估。

P3 - 應(yīng)用系統(tǒng)當(dāng)前的備份作業(yè)的時(shí)間長(zhǎng)度屬性,需要通過歷史數(shù)據(jù)結(jié)合數(shù)據(jù)量來評(píng)估。

P4 - 應(yīng)用系統(tǒng)是否是具備雙重業(yè)務(wù)特性,比如兼?zhèn)渑亢吐?lián)機(jī)業(yè)務(wù)特性。

通過以上幾個(gè)屬性的加權(quán)計(jì)算或者其他方法的定性分析,計(jì)算出每一個(gè)系統(tǒng)的不同備份作業(yè)的定性矢量,然后我們可以將這些矢量根據(jù)其具體備份窗口設(shè)置初始的調(diào)度時(shí)間點(diǎn),然后分析其具體分布圖是否均衡穩(wěn)定并且進(jìn)行微調(diào)。例如下圖是一個(gè)粗略的分析實(shí)例,可以提供相關(guān)的參考思路:

企業(yè)數(shù)據(jù)庫備份和恢復(fù)應(yīng)注意哪些問題_www.cuoXin.com

以上案例僅僅是一個(gè)相對(duì)粗略的分析方式,僅僅是一個(gè)基于某一特定案例的分析思路。我們可以根據(jù)業(yè)務(wù)系統(tǒng)特點(diǎn)結(jié)合更好的專業(yè)工具進(jìn)行更加細(xì)節(jié)的分析。但是總體目標(biāo)是讓我們的備份作業(yè)分布達(dá)到一定范圍內(nèi)的平衡,另外在某些特定的業(yè)務(wù)場(chǎng)合或者特定的設(shè)備場(chǎng)合下,可能會(huì)有一些特殊的時(shí)間窗口需要和備份作業(yè)適當(dāng)分割開來,比如說基于文件系統(tǒng)技術(shù)實(shí)現(xiàn)的備份介質(zhì)存儲(chǔ)池,由于我們的周期性歸檔配置,它會(huì)定期去做文件系統(tǒng)的清理作業(yè),而且時(shí)間段比較長(zhǎng),耗費(fèi)資源比較高。我們盡量要講備份作業(yè)的分布策略與這些時(shí)間段保持適當(dāng)?shù)姆指睢_@樣才會(huì)保證備份系統(tǒng)運(yùn)行的長(zhǎng)久安全穩(wěn)定。

7.如何解決業(yè)務(wù)發(fā)展與備份系統(tǒng)有限性瓶頸

所謂的業(yè)務(wù)發(fā)展在備份體系建設(shè)過程中包括幾個(gè)方面的影響。一方面業(yè)務(wù)量的增長(zhǎng)會(huì)導(dǎo)致備份作業(yè)的不斷增加,另外一方面業(yè)務(wù)量的增長(zhǎng)會(huì)導(dǎo)致現(xiàn)有備份作業(yè)負(fù)載的不斷加劇,再有就是各種新業(yè)務(wù)的增加會(huì)帶來新型模式數(shù)據(jù)備份的挑戰(zhàn)。這幾方面的因素不但會(huì)對(duì)現(xiàn)有備份系統(tǒng)的負(fù)載擴(kuò)展能力提出巨大挑戰(zhàn),也會(huì)對(duì)現(xiàn)有備份系統(tǒng)功能擴(kuò)展能力提出巨大挑戰(zhàn)。

解決以上問題,本文認(rèn)為唯一可行的方法就是從單一傳統(tǒng)的備份系統(tǒng)逐漸過渡到完善的備份體系。傳統(tǒng)的備份軟件形成的格局只是這個(gè)體系的一個(gè)元素,基于快照的備份接口、基于軟件加速的接口、基于異構(gòu)平臺(tái)轉(zhuǎn)儲(chǔ)的模塊兒都應(yīng)該成為這個(gè)體系當(dāng)中的擴(kuò)展元素;同時(shí)備份介質(zhì)也應(yīng)該從單一的帶庫、DD等傳統(tǒng)備份介質(zhì)擴(kuò)展到由現(xiàn)有備份介質(zhì)池和分布式存儲(chǔ)池、對(duì)象存儲(chǔ)池、云端備份池等多種元素組成的廣義備份介質(zhì)池;單一的備份恢復(fù)模式也應(yīng)該轉(zhuǎn)換為多級(jí)數(shù)據(jù)一體化模式,既包括多級(jí)數(shù)據(jù)的轉(zhuǎn)儲(chǔ)歸檔機(jī)制,又包括數(shù)據(jù)自動(dòng)化下沉和上浮的機(jī)制,數(shù)據(jù)流向?qū)崿F(xiàn)自動(dòng)化平滑軌跡。

目前可以實(shí)現(xiàn)以上體系的軟硬件產(chǎn)品組合有很多,各家都有各家的特點(diǎn)和局限。關(guān)鍵是要靠規(guī)劃者根據(jù)自己的業(yè)務(wù)特點(diǎn)和長(zhǎng)遠(yuǎn)的發(fā)展預(yù)測(cè)來選擇和集成合適的解決方案。

8.總結(jié)和展望

本文基于企業(yè)備份系統(tǒng)建設(shè)過程遇到的一些問題進(jìn)行深入調(diào)查和剖析,并切合企業(yè)具體問題案例從特定問題角度出發(fā)給出分析思路。隨著目前的分布式技術(shù)、云計(jì)算技術(shù)、互聯(lián)網(wǎng)技術(shù)等的不斷發(fā)展,備份體系建設(shè)的內(nèi)容會(huì)呈現(xiàn)越來越多的新模式和新思路。解決的方法也不局限于企業(yè)的數(shù)據(jù)中心內(nèi)部,一些結(jié)合云計(jì)算的整體解決方案也在不斷誕生,它會(huì)涉及到數(shù)據(jù)的整個(gè)生命周期,當(dāng)然這個(gè)根據(jù)不同的行業(yè)也會(huì)呈現(xiàn)不同的思路和模式。本文將次作為一個(gè)基礎(chǔ)性的思考,更重要的是希望能引起更多從業(yè)者從不同角度的思考和提煉,并分享出來供大家參考。

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 成年人激情在线 | 欧美人一级淫片a免费播放 久久久久久久久91 国产99久久久久久免费看 | 成人电影毛片 | 国产一级大片在线观看 | 中文字幕欧美视频 | 免费的性生活视频 | 中文有码一区二区 | 精品一区二区三区免费毛片 | 91色成人 | 国产九九热视频 | 被啪羞羞视频在线观看 | 综合网天天射 | 中文成人在线 | 午夜视频福利 | 成年性羞羞视频免费观看 | 色播一区 | 成年人网站视频免费 | 国产精品一区视频 | 精品国产一区二区三区天美传媒 | 538任你躁在线精品视频网站 | 91精品国产九九九久久久亚洲 | 午夜色视频在线观看 | 舌头伸进添的我好爽高潮网站 | 国产亚洲在线 | 爱操影视 | chinese-xvideos | 55夜色66夜色国产精品视频 | 欧美一级视屏 | 亚洲综合网站 | 国产剧情v888av | 日韩激情在线视频 | 国产99精品在线 | 日本中文字幕高清 | 欧美日韩影视 | 欧美成人区 | 亚洲最黄视频 | 九九热免费精品视频 | 在线91视频 | 国产高潮失禁喷水爽到抽搐视频 | 久久精品国产99久久久古代 | 大号bbwassbigav头交 |