大规模数据统一备份方案研究

来源 :科学与财富 | 被引量 : 0次 | 上传用户:gcsjsb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  随着大数据时代的到来,越来越大规模的数据量伴随业务的开展和应用系统运行产生,数据已经成为一项重要的资产,一旦数据遭到破坏或丢失,将造成灾难性的后果。因此,如何保护数据的安全,实现大规模数据的安全备份,是影响到信息化系统正常运转的大问题。
  一、现状和存在的问题
  传统的数据备份,受制于第三方应用的软硬件平台框架,在实现统一的数据安全保护体系方面存在各种问题,数据安全存在一定的脆弱性,数据存在丢失的风险,主要问题涉及不同应用系统采用的数据备份软硬件不同,无法统一管理,无法实现统计分析;数据管理人员要花费大量精力掌握多种软硬件的配置、使用和运维,管理不便,效率低下;备份日志分散,出现问题不便统一查找解决;物理和虚拟环境分别备份,流程复杂,数据无法统一恢复,无法设置统一的安全策略等。
  面对大数据量时代的数据备份需求,传统的数据备份方式如本机备份、网络备份、LAN-Free(SAN)备份、Server-Free备份等由于结构不够灵活,备份管理复杂,存在网络瓶颈、无法统一管理等问题,已无法满足当今数据量不断增大、安全要求级别高、存储方式复杂情况下的备份需求。有必要通过一种更为适合的安全备份方式来满足大規模数据量情况下的数据备份需求。
  二、统一备份形式
  对很多行业来说,出于安全的角度考虑,会有信息化建设本地化,数据备份本地化的要求,因此不会采用第三方云端数据备份的方式。此时,在局域网内部署一套统一的数据备份系统来实现统一备份的需要,成为一种可行的选择。统一的数据备份能够解决因数据生产平台差异、数据备份情况差异带来的数据备份管理和维护问题。良好的管理并非一个简单的设备或软件的堆叠,而应是一整套完善的管理体系。
  1、统一的运维监控
  通过统一的备份管理平台能够总览整个备份系统中资源的监控运行情况,包括容量使用情况、任务运行情况、告警统计等,对接入的备份系统进行统一监管管理。对异常或故障提前预警,降低潜在的安全风险,保障系统的稳定运行。对监控和统计备份系统上备份业务运行情况。包括任务数量、任务摘要、任务状态、任务执行情况等。统一的备份管理平台可监控到连接成功的备份节点上当前所有任务的运行情况,从管理端能够同时掌握多个设备上的业务运行情况,根据监控视图中的实时数据,时刻掌握各类任务的分布情况及状态变化情况,根据此类信息能够及时调整当前的任务执行规划。
  2、统一的备份管理
  管理平台需要规范和明确备份流程,实现对备份策略的统一分发和控制。备份系统统一对分散的备份设备或系统分发备份策略,各个备份设备负责策略的应用和执行,对异常情况及时预警,简化工作流和管理复杂度。当各自独立分散的不同区域内的站点或节点出现异常或故障时,备份系统能够及时预警,同时还可快速登录故障或异常设备或系统定位故障和分析异常原因。实现简单、规范、安全、高效的备份管理。简单即对于分散独立的节点通过简单配置,即可接入到统一监管实现统一管理。规范指对托管的节点进行统一分组,分配对应的管理员负责运维维护。安全指增强访问安全性,托管访问时须进一步验证节点的身份信息。高效即无论日常备份管理还是故障运维维护,均可通过备份统一监管功能统一管理控制台快速完成,提高工作效率。
  3、报表分析统计
  由于数据的备份和管理实现了统一,不再是多个备份平台的基础数据各自为政,在同一套体系之中,能够完整的沉淀下管理数据。基于这些数据,进行统计分析,生成基于整体备份情况的报表,如系统趋势分析、性能瓶颈等相关运维报告。趋势分析报告,根据用量增长率、任务增长量、备份任务原因分布、失败任务原因分布、告警原因分布、告警趋势等,审视资源利用率多大,预见当前可用资源能否满足接下来几个月甚至更长时间的需求。性能瓶颈分析和评估,通过分析长时间系统运行以来的性能(CPU、内存、网络等)开销、备份性能(备份数据量、备份吞吐量等),评估系统存在的性能瓶颈在哪里、计划安排是否合理、以及系统运行稳定性。基于这些基础运维数据,根据需求自定义生成想要关注的报告,实现在正确的时间将正确的信息以正确的格式提交给正确的人。
  三、统一备份的安全机制
  统一备份的方式实现高效管理的同时,对于系统安全的性,也提出更高的要求。以下从数据安全、系统安全等角度分别进行安全机制研究。
  (一)、数据安全
  1、敏感数据安全
  敏感数据包括数据生产环境中的关键信息,这些数据一旦被截获或者泄露,将造成无法挽回的损失。应通过对敏感数据进行加密,保障安全性。如不允许使用私有算法实现加解密,如自行定义的通过变形、字符移位、替换等方式执行的数据转换算法。
  敏感数据存储安全。口令不允许明文存储在系统中,采用加密保护。在不需要还原口令的场景,使用不可逆算法加密。对账号等敏感数据的访问进行认证、授权和加密机制。
  2、个人数据安全
  个人数据转移、采集、处理。对外传送的个人数据需要经过授权,允许用户对传送功能进行关闭和开放操作。对外传送用户的目的、数据类型、实现和管理都有进行日志记录和追踪。通过加固数据传输通道,确保数据传输安全。
  3、备份数据存储与传输加密
  备份系统采用对象文件系统,备份数据以自定义算法进行分割后,以对象的方式保存于系统总库,数据以自定义格式存储,任何第三方无法还原成生产数据,确保数据的安全。
  通过高级加密标准算法,在备份数据传输和存储过程中,对所有定时备份任务所产生的备份数据进行加密处理,避免数据泄露等问题。数据经过加密处理,即使有人通过抓包等方式在数据传输过程中恶意截获备份数据,也无法解析备份数据。如果有人试图通过插拔磁盘解密磁盘中的备份数据,当进行磁盘数据读取时,也将无法解析磁盘中的数据。
  (二)、系统安全   1、操作系统加固
  应定期进行安全扫描,定期修复漏洞,定期进行漏洞扫描,定期为系统安装安全补丁以修补这些漏洞,防止病毒、蠕虫和黑客利用操作系统漏洞对系统进行攻击。同时加强账号密码安全,要求账号密码必须符合一定的复杂强度要求,并强制定期修改密码。对于系统服务安全,应关闭不必要的服务;禁用远程访问服务;禁用不必要的端口。
  2、数据库安全
  对访问数据库的账号进行必要的清理,删除或禁用不使用的账号,避免因非法破解而造成的数据安全风险。必须使用非操作系统管理员账号,即独立的数据库账号运行数据库。数据库账号必须满足密码复杂度要求,采用密钥形式存储,避免暴力破解風险。数据库权限,修改数据库端口及用户权限,不允许外链,要求用户只能在机房本地访问。
  3、日志审计
  备份系统应支持日志记录功能,详细记录日志产生时间、日志级别、用户行为活动或系统操作指令内容。通过查阅用户登录后的重要变更操作和配置信息修改操作记录,实现事后审计和追踪,避免监管缺失,无从追查事故责任的问题。用户日志:记录的用户活动及操作指令包括用户管理,登录,注销,个人信息修改等。系统日志:记录介质服务器管理,自备份管理,更新管理,告警管理等相关操作。客户端日志:记录客户端在线离线状态,及客户端配置相关操作。任务日志:记录任务执行结果,任务管理,任务监控等操作。
  日志访问控制。无授权或者非管理员授权的情况下,不能访问私人操作日志,避免日志被非法操作和修改,确保日志客观公正。所有日志记录均不能修改或者删除。日志记录要求支持保留6个月以上。
  4、分权管理
  统一的备份系统应采用基于角色的“四员”分权管理体系,相互独立又相互制约。系统管理员负责系统运行配置和维护。安全审计管理员负责对系统管理员和安全保密管理员的操作行为进行审计。安全保密管理员负责用户权限和角色分配,对安全审计管理员的操作行为进行审计。站点管理员即普通用户,负责授权站点内的运维管理。进行密码有效期和账号锁定机制配置和管理,防止登录暴力破解,满足信息安全规范要求。
  5、备份策略
  将数据备份任务按业务系统数据重要性进行划分,确定各系统的备份数据量,并为每个备份任务指定专用的介质集。
  根据各业务系统对备份的需求,以及忙闲程度,为每个备份任务划定可以进行数据备份的时段。
  合理的选择备份方式。备份的最终目的是为了进行数据恢复,在选择备份方式时,要在业务系统性能需求许可的情况下,最大程度的降低数据恢复时的复杂程度。因此:对于数据量较大的业务系统,为降低数据备份对业务系统使用的影响,减少对备份介质的需求,需采用全备份+增量备份的方式进行,每周进行一次全备,一周内其他时间每天进行一次增量备份;对于数据量较小的备份任务,或较为关键的业务系统数据,每天进行一次全备份,以降低恢复时的复杂程度;对于相关业务系统的数据,为保证数据一致性,尽量安排在同一天进行备份;首先保证关键业务系统的数据备份;尽量使备份数量在一周内的每天平均分布,可以采用大小数据量相搭配,或关键业务系统与非关键业务系统相搭配等方式进行;根据业务系统数据备份需要确认备份介质保存周期。如无特殊需求,则保存周期的设置应以保证每一次全备份完成以前,都有可用介质供数据恢复使用为准。
其他文献
摘要:监控指挥系统中传输系统是将系统的前端设备与终端设备联系起来的物理通道。前端设备所产生的图像信号、声音信号、各种报警信号通过传输系统传送到控制中心,并将控制中心的控制指令传送到前端设备。主要实现两种信号的传输:一个是音视频信号,另一个是控制信号。其中视频信号的流向是从系统前端的音视频采集设备(监控摄像头、麦克风)流向系统的控制中心,而控制信号则是从控制中心流向前端的监控摄像头(包括镜头)、云台
期刊
摘要:在水力压裂中,裂缝会沿着缝高方向延伸。当裂缝延伸超出产层进入上下隔层时,不仅造成压裂液资源的浪费,而且难以达到设计要求。为了将裂缝高度控制在油气层内,本论文研究了岩石物质特性、施工参数、地层应力差和裂缝上下末端阻抗值对缝高的影响.研究压裂过程中控制裂缝在高度方向上延伸的诸因素,分析了单因素条件下的裂缝高度变化趋势。其中,地应力是影响裂缝高度的首要因素。  关键词:低渗透;水力压裂;控制缝高;
期刊
摘要:随着我国经济的快速发展,我国的大环境发生了极其巨大的变化。在这种时代背景下,为顺应时代的发展需求,就必须要不断完善基础服务设施的建设,以充实公共服务机制。气象服务作为新时代公共服务中的一项重要内容,对其进行准确预测是保障人们便利出行与生产生活的最关键环节,也是人们生活中最至关重要的需要。尤其是对于灾害的防治面前,当气象能准确预测自然灾害的发生时,就能使人们及时加以预防并减少灾害所带来的严重损
期刊
摘要:近些年随着各大国外校准机构的入驻,对于我国的计量检定校准提供了新的活力,并且也带来了很多高标准的规范,供我国从业人员学习和借鉴,但同时也导致目前我国的校准市场竞争更加激烈,为了能够在未来的市场竞争中取得优势地位,就需要检定机构能够尽快建立并运行与国际标准统一的管理体系,本文对目前我国计量检定机构管理体系的组成,以及其重要意义进行分析,并对目前我国计量检定机构管理体系现行状态进行介绍和分析,希
期刊
摘要:基层党建政工工作作为企业党组织建设的重要组成部分,其不仅是企业党组织建设的基本保障,而且还关系到企业未来改革发展的主要方向。而随着市场经济体制的不断改革,企业要想获得较高的市场竞争力,就应加强企业基层党建政工工作的创新,这样就能提高企业员工的工作积极性和凝聚力,以此就能促进企业的长期稳定发展。  关键词:企业基层;党建政工工作;创新与发展  做好基层党建政工工作管理创新尤为必要,是未来阶段,
期刊
摘要:信息化技术的飞速发展给传统教学模式带了新的变革,以慕课为基础的混合式教学模式重建了新的学习生态圈,将线上和线下进行融合的混合式教学模式可以有效的提升学生学习的积极性、自主性和创造性。本文将混合式教学模式在《消费经济学》课程中进行了实际运用的探索,建立了行之有效的教学路径,获得良好的教学效果。  关键词:消费经济学;慕课;混合式教学  随着互联网和信息技术的飞速发展,给传统教学模式带了巨大的变
期刊
摘要:近年来,有关大学生自杀的报道层出不穷,越来越多的大学生在美好花季选择了自杀。大学生是国家未来的栋梁之才,是民族未来的希望。为什么他们会在如此美好的年华选择结束自己的生命?应该采取哪些方式来预防此类事件的发生?本文将针对近年来的全国各地大学生自杀的现象,试图从社会原因及个人因素进行分析,并制定相应的措施来预防。  案例一:【张家口警方通报大学生自杀事件:其曾在多家网贷平台参与借贷】  1月30
期刊
摘要:目的 分析、总结患儿手术期间开展七氟烷吸入麻醉的效果。分析 通过对医院近两年的手术患儿同时总结小儿手术期间开展七氟烷吸入麻醉的具体方法以及麻醉效果。方法 对我院近两年的32例手术患儿予以分组(观察组、对照组),给予对照组患儿氯胺酮静脉麻醉,给予观察组患儿七氟烷吸入麻醉,对比两组患儿手术期间体动情况、心率改变、脉搏血氧饱和度、苏醒时间和恶心呕吐出现情况,将所得各项数据进行统计学计算。  关键词
期刊
摘要:在现代生活中,开关电源发挥着重要的作用。为了保证开关电源的正常使用,需要应用到直流EMI滤波器。由于传统技术方法的限制,现有的EMI滤波器在性能方面逐渐无法满足人们的需求。为了推动开关电源的应用和发展,本文通过分析EMI滤波器在开关电源中的应用,研究了开关电源直流EMI滤波器的设计要求。以此为基础,本文结合时代技术发展的特点,对开关电源直流EMI滤波器的设计工作进行了研究,并对其中的参数设定
期刊
摘要:一台在用的蒸发量为2t/h的燃气锅炉在进行检验的过程中,检验人员发现在该锅炉中的受热面有3mm-6mm的水垢,并且在锅壳的底部存在着大量的泥渣,根据对水样以及垢样进行分析化验之后,检验人员认为出现严重结水垢的原因与锅炉原水的硬度过高有着直接的影响,并且水处理系统树脂也在一定程度上受到了其中所含有的杂质成分的影响。本文针对一台燃气锅炉严重结水垢原因展开了简要的分析,并针对严重结水垢的原因提出了
期刊