有人說我們從來沒有真正解決任何IT問題，我們只是轉移了這些問題。重復數據刪除同樣也不例外。雖然重復數據刪除系統使得我們的備份和恢復變得更加簡單，但同樣也存在許多挑戰。精明的存儲或者備份管理員能夠通曉這些挑戰，并且盡一切可能來解決它們。

　　你的備份系統有三種不同的創建重復數據的方法：重復所有文件系統或應用的備份;重復文件系統或應用增加的備份;以及備份到多個地方(例如：位于同樣操作系統或應用程序的多臺機器)的文件。基于Hash的重復數據刪除系統(例如：CommVault Systems公司, EMC 公司, FalconStor Software, Quantum公司, Symantec公司)能識別和刪除所有三種類型的重復數據，但是粒度級別受限于它們的塊大小，典型的塊大小是8K或者更大?；贒elta-differential的重復數據刪除系統(例如: IBM公司, ExaGrid Systems, Sepaton公司)則只能識別和刪除前兩種類型的重復數據，但是它們的粒度級別能夠小到byte級。這些差異在重復數據刪除率方面通常打成平局，但在某些特定的環境中能產生明顯的差異，這就是為什么大多數專家建議你測試多種產品的原因。

　　由于在絕大多數的備份數據中大約有一半的重復數據來自于多個完全備份。使用IBM的Tivoli存儲管理器(TSM)作為備份產品的用戶相比于使用其他備份產品的用戶，能獲得更低的重復數據刪除率。這是因為TSM的逐步增量功能，用戶無需在TSM備份的文件系統上再進行全備份。然而，由于TSM用戶對他們的數據庫和應用執行了全備份，并且由于全備份的數據并不只在重復數據被發現的地方存在一份，TSM用戶依然能夠受益于重復數據刪除系統——他們的重復數據刪除率將會更小。

　　第二種類型的重復數據來自于增量備份，增量備份包含著自最近一次完全備份以來，文件或者應用程序的多個版本。如果一個文件每天都被修改和備份，而且備份系統的備份保留期為90天，那么這個備份系統中將會存在該文件的90個版本。一個重復數據刪除系統將會識別這90個不同版本中的唯一數據片段和冗余數據段，并且只保存唯一的數據片段。然而，有些文件類型不存在不同的版本(例如視頻，音頻，照片或圖像，以及PDF文件)，每個文件其自身就是獨一無二的，并且不會和同一個文件的先前版本有重復。擁有這些類型文件的增量備份將完全包含這些唯一的數據，因此沒有任何重復數據可以刪除?？紤]到重復數據刪除存儲的相關成本，一些擁有此類文件占很大比重的用戶考慮不將這些數據存儲在重復數據刪除系統上，因為除了增加成本，他們得不到任何好處。

　　重復數據刪除系統和加密：你需要注意什么

　　重復數據刪除系統通過查找和消除的模式工作;加密系統通過消除模式工作。不要將你需要備份的數據在發送到重復數據刪除系統之前進行加密——-否則你的重復數據刪除率將是1:1。壓縮工作有點像加密，它同樣是查找和消除模式，只是采用了不同的方法。絕大多數壓縮系統的這種方法將導致數據的不規則性從而產生像加密一樣的效果;它同樣可以使你的重復數據刪除系統完全失去處理這些數據的能力。

　　壓縮的挑戰經常會導致想要備份變得更快的數據庫管理員和希望進行重復數據刪除的備份管理員之間的僵局。因為數據庫經常產生容量很大但實際數量很少的數據,因此它們非常需要進行壓縮。這就是在打開了備份壓縮功能后通常會比沒有壓縮快2到4倍的原因。避開這個特殊挑戰的唯一辦法是使用一個備份軟件產品，這種產品集成了數據源重復數據刪除和客戶端壓縮的功能。例如CommVault的 Simpana, IBM的 TSM 或者 Symantec 的NetBackup。

　　復用和重復數據刪除系統

　　備份系統重復數據刪除的下一個挑戰是它只能應用在那些使用了虛擬磁帶庫(VTLs)和支持復用的備份軟件的公司，復用多個不同的備份到同一個磁帶驅動器上會擾亂這些數據并且完全挫敗所有的重復數據刪除。即使有產品能夠破譯來自一個復用鏡像的不同備份流(例如FalconStor, Sepaton)，我要告訴你的是，不要對他們的設備進行復用備份，因為那只是浪費時間。

　　考慮去重開銷

　　備份重復數據刪除的最后一個挑戰是必須使用備份窗口，這種方法很可能使得一些重復數據刪除系統在執行重復數據刪除任務時導致要進行的備份變得很慢。很多人都沒有注意到這個現象，那是因為用戶是將數據從磁帶轉移到磁盤中，并且重復數據刪除系統仍然高速運行。然而，已經使用磁盤分段的用戶可能注意到備份性能的下降以及備份數據所消耗的時間的增長。不是所有的產品都有這個特殊的功能，而且所表現出來的程度也不同，你只有在你的環境中做一個測試，才能詳細了解情況。

　　恢復的挑戰更加容易理解，大多數重復數據刪除系統存儲數據的方式導致了最近備份以零碎的方式進行記錄。如果備份系統沒有做重復數據刪除，那么重復數據刪除備份的恢復操作可能需要花費更長的時間。這種現象被稱之為“去重開銷”。

　　當考慮去重開銷時，想想你是否計劃使用重復數據刪除系統作為磁帶復制的來源，因為去重開銷在大型恢復和磁帶復制中非常普遍。例如，假設你計劃使用具有140MBps速度和1.5TB存儲容量的LTO-5驅動器，再假設你已經檢測了你所有的備份磁帶并且發現你有2.25TB的數據需要存到1.5TB的磁帶上，這意味著你需要獲得1.5:1的壓縮比率。這也意味著在復制的過程中你的140MBps的磁帶驅動器實際上應該以大約210MBps的速度運行。確保在運行期間，重復數據刪除系統能夠提供運行的需求(如例子中的210MBps),如果不能夠，你可能需要考使用另外一個系統。

　　重復數據刪除恢復的最后一個挑戰是他們仍然在恢復，這就是為什么重復數據刪除系統不是一個“萬靈藥”。一個必須進行恢復的大型系統，要求能夠實現數據從重復數據刪除系統到產品系統的大容量復制。只有將你的備份系統進行總體架構上的改變，如從傳統備份系統變成具有連續數據保護(CDP)或者準CDP的系統才能解決這個特殊的挑戰，這樣能夠使恢復時間保持在幾秒而不是幾小時。

　　重復數據刪除系統能夠在不進行大規模架構調整的情況下，給你帶來大幅提升當前備份和恢復系統能力的希望。只是在你簽署采購訂單之前，請確保能夠意識到重復數據刪除的這些挑戰。