大數據已成爲大多數企業組織的優先事項,它們日益意識到數據對於自己取得成功所起到的核心作用。但是許多繼續在爲如何最有效地保護、管理和分析如今現代架構中的數據而焦頭爛額。不做好這項工作會導致停機時間延長、可能丟失數據,從而讓企業組織蒙受鉅額損失。

不像傳統的數據平臺(甲骨文、SQL Server等)由IT專業人員來管理,大數據平臺(Hadoop、Cassandra、Couchbase和HPE Vertica等)通常由工程師或開發運維團隊來管理,大數據備份和恢復方面存在一些常見的誤解,需要加以澄清。

一些最常見的誤區包括如下:

第一個誤區:數據有多個副本,就不需要單獨的大數據備份/恢復工具。

大多數大數據平臺創建數據的多個副本,並將這些副本分佈在不同的服務器或機架上。萬一出現硬件故障,這種類型的數據冗餘機制可保護數據。然而,其他任何情況(比如用戶錯誤、意外刪除或數據損壞等)都會導致數據丟失,因爲這些錯誤或損壞會迅速蔓延到所有數據副本。

第二個誤區:丟失的數據可以通過原始數據快速而輕鬆地重建。

如果你仍擁有重建丟失數據的所有原始數據,這也許切實可行。但在大多數情況下,原始數據被刪除或不容易訪問。就算原始數據可用,重建丟失的大數據可能也需要好幾周,消耗大量的技術資源,而且對大數據用戶來說延長了停機時間。

第三個誤區:備份PB級大數據是不經濟或不實際的。

PB級數據的定期完整備份需要數週時間,還需要至少50萬美元的基礎設施投入。然而,你可以採取幾個辦法來緩解這些問題。你可以找出對貴企業來說很寶貴的一小部分數據,然後只備份這部分數據。採用重複數據刪除等較新的備份技術來高效地存儲備份內容,永久增量備份以傳輸變化的內容,使用商用服務器,這些同樣有助於降低成本、縮短備份時間。

第四個誤區:遠程災難恢復副本可以充當備份副本。

謹慎的做法是,將數據副本放在遠程數據中心,防止火災和地震之類的大規模災害。這通常通過定期將數據從生產數據中心複製到災難恢復數據中心來實現。然而,對生產數據中心所作的所有變化會蔓延到災難恢復站點,包括意外刪除、數據庫損壞、應用程序損壞等。因此,災難恢復副本不能充當備份副本,因爲它沒有你可以用來回滾的時間點副本。

第五個誤區:編寫大數據的備份/恢復腳本很容易。

如果你擁有技術資源,數據量不大,又只有一種大數據平臺,那麼編寫腳本切實可行。大多數企業組織通常有數十TB、乃至數百TB的大數據散佈在多個大數據平臺上。針對這種類型的環境編寫、測試和維護腳本並非易事。需要爲得到支持的每種平臺編寫腳本(比如Hadoop需要一個腳本,Cassandra需要另一個腳本)。腳本必須大規模進行測試;平臺版本變化(從Cassandra 2.1升級到2.2)後,還得重新測試。在某些情況下,腳本可能需要定期更新,以便支持平臺的新功能、新API、新的數據類型等。

大多數企業組織沒有認識到,針對大數據平臺編寫好的備份腳本面臨大筆的隱性成本,還需要相應專長。恢復過程難得多,而且容易出錯,因爲它涉及諸多環節:找到合適的備份副本,將數據拷回到相應節點,運用針對特定平臺的恢復程序以恢復數據。

第六個誤區:大數據備份/恢復操作成本很低。

除了定期維護和測試腳本外,還有與備份和恢復有關的額外成本。額外成本包括如下:

人員成本:有人得負責運行腳本,確保備份成功,需要時進行調試,執行臨時恢復等。

存儲成本:存儲備份內容需要花錢。

停機成本:在這段時間內,管理員要找到備份副本,並將數據恢復到理想狀態。

尤其是在大數據環境變得更龐大、更復雜後,這些成本可能會大幅增加。

第七個誤區:快照是大數據的一種有效的備份機制。

快照(在特定時間點凍結的數據狀態)有時用作備份副本,以防止用戶錯誤或應用程序損壞。使用平臺或存儲快照用於備份時要考慮幾點。

首先,快照可以用來使備份過程實現自動化。然而,使用存儲快照時,需要額外的手動步驟,確保備份數據和元數據的一致性。其次,數據不快速變化時,快照纔有效。就大數據平臺而言,數據變化速度很快,而壓縮等技術只會加快數據變化速度。因而,快照需要龐大的存儲開銷(高達50%)來保留幾個時間點拷貝。

最後,通過快照恢復數據將是非常繁瑣的手動過程。管理員或數據庫管理員不得不找出與需要恢復的數據(比如密鑰空間或表)相對應的快照文件,然後通過快照恢復到集羣中的相應節點。恢復過程中一旦出現錯誤,就會導致數據永久丟失。

總之,正在部署大數據平臺和應用軟件的企業組織要認識到備份數據的重要性。副本和快照等由平臺提供的機制不足以確保適當的數據保護,並儘量縮短停機時間。適當的備份和恢復需要一定的投入,但是考慮到大數據在帶來業務價值方面扮演的角色,這筆投入是非常值得的。

企業組織應該意識到自主開發解決方案方面的隱性成本,應部署合適的技術,以滿足自己的恢復點目標(RPO)和恢復時間目標(RTO)。大數據方面沒有備份/恢復解決方案可不行,因爲人爲錯誤和數據損壞等事件早晚會發生。這不是是否會發生的問題,而是何時會發生的問題。

發佈者:好運互聯 www.lucklnk.com

相關文章