|
【摘要】数据作为当今数据中心运营的重要依托，备份系统面临着各种各样的困难，为了有效利用资源，给备份系统提供资源支持，给数据安全保驾护航，需要备份解决方案具备性能优秀、扩展能力强、恢复能力出色、安全性高等特点。本文分享了在现有传统备份基础架构下，配合使用Dell EMC DataDomain 设备加入当前架构相较于使用传统带库直接备份提高效率的实践及运维经验。 【作者】徐子晨，华夏银行资深工程师，主要负责存储、SAN 网、云环境建设与维护的一线工作，置身于建设具备灵活、自由、可靠等特点的数据中心存储系统。
一、项目背景近年来，随着云计算、移动化、社交网络以及大数据四大趋势的快速发展，无论是企业还是个人都遇到了数据增长所带来的难题。数据海量骤增、数据类型日趋丰富、数据来源无比广泛，加之于用户对数据价值的迫切渴求，企业对备份系统以及数据存储等的投入也一直增加。中国国家标准化委员会发布的《网络安全等级保护基本要求 GB/T 22239-2019》国家标准-等保 2.0 通用安全要求中数据备份各个等级的技术要求都是以本地数据备份与恢复为基础，中国人民银行发布的金融行业等保相关的数据备份相关要求数据保存期至少 20 年，然而事实上企业对这类系统的使用次数却不多，这导致备份系统成为企业不断投资的黑洞。 数据作为当今数据中心运营的重要依托，数据安全问题成为 ITer 坚守的最后一道防线，我行采用 CommVault（以下简称 CV）备份软件承载所有业务系统的备份任务，使用物理带库存储所有备份，对于重要系统多份跨机房、跨地区的数据拷贝，来保证数据的安全性，定期做数据有效性验证，从而保证数据的可靠性。近年来，数据量增长飞快，备份系统面临着各种各样的困难，在上述情况下，为了有效利用资源，给备份系统提供资源支持，给数据安全保驾护航，迫切需要一套行之有效的备份资源改革方案，解决数据备份机制面临的挑战，支持我行各个业务应用系统能够拥有健壮，安全，可靠的备份数据环境。 二、业务挑战传统的备份常被称为“数据保护的最后一道防线”。企业对这类产品的诉求是：“不管发生什么问题，只要拥有数据备份系统就能重建系统、找回数据”。但是，这类传统备份方式存在着一些弊端，如操作体验不佳、投入产出比不高等。 首先在操作体验上，由于传统数据恢复机制非常麻烦，如果需要恢复数据，需要把备份系统的数据导入存储空间再使用，这个过程消耗时间漫长，有时备份或恢复一个数据库需要几十个小时到几天。所以原来的备份系统在企业里慢慢被边缘化，出于备份的必要性，却又导致了投入产出比不高的问题。
备份的痛点： 1，从备份时间来看，备份到磁带库，需要面临时间窗口长，效率低，成本高等现实问题，在数据日趋庞大的今天，无疑是个无法避免的问题。 2，从数据安全来看，备份到磁盘库，一般只能保存数周的数据，无法长期保存大量数据，虽然理论上不断追加磁盘容量是可行的，但是实际操作中要受到预算、机房环境、可管理性 等因素的制约。 3，从磁盘库和磁带库两个方式来看，各有所长，却又无法从根源解决眼前的总量。以某应用系统为例，根据业务需要，备份时间窗口定在 1：00-7：00，备份数据量 10T 左右，由于目标磁带库只有 8 个驱动器，而备份时间窗口多数都配置在凌晨，开启多流备份会出现资源占用，作业排队的情况，降低流数又会拉低吞吐量，导致在规定的时间窗口无法完成备份作业，从而无法满足备份需求。尝试主拷贝数据选择磁盘库，再定期做辅助拷贝到磁带库，又会因为磁盘库的可管理性和安全性担忧。
磁带库痛点： 1.空间利用和回收：在传统的磁带备份中，并不是每一盘磁带都写满，较多的时候，一盘LTO-5 的磁带可能仅仅写了 80%就需要离线保存； 2.磁带备份中，对于重要数据，通常都会克隆多个版本，防止介质失效； 3.永久保留的数据存放到磁带中，出库保留，很难数据验证； 通常在同一盘磁带上，会有多个时间版本数据，只有所有数据均过期，该磁带才可以回收利 用；因此，通常磁带空间的总体利用率会较低； 4.预留备份资源：通常也会预留一定的空间，例如：多配置几个冗余磁带机，多增加磁带介质； 5.FC 的成本：需要单独配置 FC 交换机、FC HBA 等；
考虑替换物理带库方案原因： 1.物理带库 VAULT 复制技术不支持重删复制，带宽要求很高； 2.复制后的备份数据不能马上使用，需要逐个磁带进行扫描，操作复杂耗时长； 3.带机升级及磁带介质转储操作复杂，工作量大。 三、需求分析面对不断增长的数据量，不断压缩的时间窗口，之前的备份架构就显得那么力不从心，磁带库的驱动器争用越来越明显，等待时间越来越长，甚至卡带现象也跟着频繁，直接影响到备份作业的完成质量。而且，磁带库不支持重复数据删除，资源浪费的情况也不可避免。 现阶段非常迫切的需要找到一个替换方案，让主拷贝的数据，也就是生产系统备份的第一份数据，可以落到一个高效，安全，易用，扩展性强的存储设备中，继而辅助拷贝到磁带库，以满足数据保留周期的需求，这样不再长时间占用或浪费过多的资源。 任何人都不能保证专业存储系统所基于的软件和通用计算组件永远不会发生故障。某些故障例如磁盘失效可能会立即产生明显的影响；某些故障则可能是一些软件错误会导致文件系统损坏，但这种损坏比较隐蔽，只有在读取时才能发现。为了在出现这些故障时确保数据的完整性，备份体系需要提供各种数据完整性检查功能，并针对性能和系统可用性进行优化，且不能忽略数据受损问题。大多数专用备份应用设备只是构建在廉价磁盘基础上的主存储系统而已，主存储在设计理念中速度要优先于具有可靠保证的数据可恢复性，存储文件系统不会为了确保数据正确存储而从磁盘上读回数据，因此它们也继承了其上代主存储的设计理念。所以在专用备份应用设备中，首先考虑的应该是数据无损，而不是性能，甚至也不是可用性。如果不重点强调数据完整性，那么备份和归档数据就会存在风险。如果数据存在风险，那么当主数据拷贝丢失时，恢复将存在风险。 存储介质对比
现阶段大量的存储介质分为磁带式存储介质、光盘型存储介质和硬盘式存储介质。相比之下磁带式存储介质的相对成本较小，但是缺点是存储容量较小，数据的读取查询时间较慢。在保存方面磁带式存储介质不宜长时间保存，由于是磁性介质保存数据所以包含数据容易受外界环境的影响。 光盘型存储介质，相比磁带式存储介质，光盘型存储介质的优点是质量轻，相对存储容量较大。缺点是数据的存储改写较难，不宜改写数据，并且在数据读取时不能实时对含有信息进行检索，或者检索过于繁琐和耗时。光盘存储介质的信息追加麻烦，有些甚至不能追加，会对设备造成浪费。 相比之下硬盘式存储设备的优点是，相对存储密度最大，设备的通用性高，硬盘式存储设备的读取及信息改写较容易。硬盘式存储设备的数据传输速度高，检索及查找数据速度快，并可以准确定位。由此可以发现移动硬盘式存储介质是海量数据离线存储的最佳存储介质。 DataDomain优势： 数据中心建设前期耗费了巨额投资采购了数量庞大的备份设备并积累了海量数据，如果全部通过购置新的备份设备和技术架构替代现有系统，无疑费用和改造难度将无比巨大，过去多年的IT投资也将付之东流，庞大的数据迁移工作也会面临挑战，在原有备份技术体现架构基础上升级是一个不可回避的问题。
四、技术方案及实施经验（一）.技术架构 使用DellEMC DataDomain（以下简称DD）虚拟带库，充当生产数据与物理磁带库之间的桥梁，承载第一份备份作业的目的地。通过配置计划自动将需要保留的数据拷贝到物理带库，满足行业等级保护规范与数据安全性要求。基本架构如下： 旧的架构是生产数据通过CV备份软件，使用MediaAgent（介质服务器包括lanfree和lan两种模式）传输到本地机房1的SL3000物理带库，再将所有数据定期拷贝到本地机房1的另一个SL3000物理带库，确保两份可用数据，本地机房2也是相同架构，保证有两份可用数据。再将需要保留的数据拷贝到异地机房的STK 8500物理带库，形成异地数据保留。 （旧架构图）
新的架构是将生产数据通过CV备份软件，使用MediaAgen（t 专用万兆网介质服务器）传输到本地机房1的DD虚拟带库，再将所有数据定期拷贝到本地机房1的另一个SL3000物理带库，确保两份可用数据。本地机房2也是相同架构，将第一存储数据配置为DD虚拟带库，保证有两份可用数据。再将需要保留的数据拷贝到异地机房的STK 8500物理带库，形成异地数据保留。
（新架构图） 二）.实施过程 1，备份软件配置DD VTL带库 MediaAgent 成功连接完DD 虚拟带库后，登录MediaAgent 使用CV 备份软件自带的工具ScanSCSITool，能够验证是否可以扫描到对应的设备文件，剩下步骤与配置物理带库无异,配置完成会在CommCell控制台的Expert storage configuration中，显示库名称，状态是已配置。如下图：
2，验证驱动器可用性 使用CV 软件验证已配置的驱动器可用性，加载/卸载DD 分配的虚拟磁带介质，测试读/写速度。
3，备份软件配置存储策略 在CommServe 配置存储策略，配置数据路径到DD 虚拟带库，主拷贝为备份数据目的地，配置数据路径到DD VTL 带库，选择性辅助拷贝通过计划自动将所需要的数据复制到物理带库，实现数据的永久保留。
3，备份软件配置存储策略 在CommServe 配置存储策略，配置数据路径到DD 虚拟带库，主拷贝为备份数据目的地，配置数据路径到DD VTL 带库，选择性辅助拷贝通过计划自动将所需要的数据复制到物理带库，实现数据的永久保留。
5，前后对比 很明显，现在的备份效率，较之前得到很大的改善，平均吞吐从之前的785.51GB/小时，提高到1449.74GB/小时，优势显而易见，备份效率提高了一倍。 物理带库：
DD VTL带库：
五、实践效果通过多次实践测试，使用DD VTL 备份比之前使用传统物理带库性能得到明显改善，备份效率显著提高。不会再出现以前的长时间占用资源，时间窗口得不到保障，恢复等待时间超长的现象。在现有备份基础架构不变的情况下，引入DD VTL 存储设备来完善架构中的不足，使备份系统更加健全与可靠。且全面改造了旧架构中LanFree 的备份模式，这样可以完全脱离与生产环境接触，充分降低无论硬件和软件给生产环境造成的隐患，减轻对生产系统的网络带宽压力。新架构中使用Lan 模式备份，所有专用介质服务器都是万兆网，不仅提高了备份效率，还能简化备份环境高可用切换数据路径的操作步骤，减少生产变更次数。 新架构中更好的延续了旧架构的黄金副本保护，通过DD 虚拟带库提高备份恢复性能，通过备份软件将数据以及备份软件的DR副本，使用辅助拷贝功能，传到物理带库生成黄金副本充分隔离，保证数据安全性，有效防止勒索病毒侵害。 采用 DD VTL设备获得了以下优势： √ 在备份窗口内以最多快 50% 的速度完成备份作业，为每年的数据增长留出时间。 √ 备份所用带宽减少高达 99%，因此，您可以更高效地利用现有基础架构，避免昂贵的 升级。 √ 无需再管理成千上万磁带盒，进而简化日常备份操作。 √ 消除基于物理磁带的恢复所带来的各种问题和风险，进而增强和缩短恢复时间。 √ 压缩去重，在成本上也较以前节省了很多，同时数据校验功能，也保证了数据的完整性。 同时，DD 采用了硬件辅助技术和更新的重删压缩算法提供了高水平的压缩率和性能；在高可用方面，DD将两个机头配置为活动-备用对，以便在活动节点因硬件或软件问题出现故障时，备用节点能够接管服务，并在故障节点中断的位置继续运行；在生态方面，DD可与现有基础架构轻松集成，从而便利地搭配主流备份和归档应用程序使用，且安装和管理都非常简单。
六、总结近几年发生的许多事件，包括人为误操作数据丢失，勒索病毒入侵，自然灾害等一系列不可逆的数据灾难，所有企业都明白一点，那就是所有的一切都有可能在一瞬间灰飞烟灭。 备份对于企业IT 而言是一个属于偏“后端”的领域，当企业IT 在生产中心前端进行虚拟化、云计算、大数据等变革之时，传统备份的弱点就开始暴露无遗。传统备份无论是方式、理念还是技术、产品已经是拥有20多年历史的陈旧产物，随着用户IT变革的演进，传统备份模式已经走入困局，企业用户也必须开始努力做出改变。 另外一个非常明显的趋势就是云计算应用的普及，随着服务器虚拟化在企业用户数据中心逐渐得到广泛应用，用户部署的大量云主机产生了大量的数据，针对云环境的备份与恢复无疑是当前用户需要面对的一大挑战。传统的备份产品以及解决方案主要是针对老的IT 环境而设计，从本质上无法满足虚拟化环境的备份和快速恢复。此外，企业面对日新月异的变化，需要在备份领域更加的高效和简单，从而保证业务持续发展，企业用户无法容忍备份操作管理、备份恢复流程的复杂带来的时间、精力的浪费。 在传统的磁带备份或者VTL 备份方式下，恢复一直是困扰用户的一大难题。随着数据量的增大，以及企业用户IT 更加动态，尤其是虚拟化应用普及的趋势下，企业对于恢复的要求也需要更加灵活、快速和精细化。传统备份模式受限于介质和模式，的确是在恢复方面无法满足这种趋势下的需求。 在当前时代下，所有企业的备份已经在发生翻天覆地的变化。虽然备份处于企业IT 领域的后端，但是对业务的连续性、无间断运营和数据安全无疑有着重要的作用。适应现在和未来发展需求的备份解决方案才是用户的首选，备份性能优秀、扩展能力强、恢复能力出色、安全性高的备份解决方案才能高枕无忧。
| 
|手机版|小黑屋|重庆思庄Oracle、Redhat认证学习论坛
( 渝ICP备12004239号-4 )
发表于 2023-1-18 20:18:09
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
收藏
支持
反对