长期以来,开发测试场景一直是金融业数据使用频繁的典型应用场景,受到金融用户重点的关注。当前,随着互联网金融、移动业务的激增,开发测试的需求变更频繁,需要大量的业务副本数据用于开发测试、版本升级、回归测试等业务,相较于以往的测试造数,当前测试域更倾向于通过生产数据脱敏后供数的方式,一方面可以保证测试数据符合业务系统的测试条件,另一方面可以及时与最新的系统开发版本保持一致,提高开发测试与版本迭代的效率。因此,如何满足开发测试环境对数据的申请要求、如何提升数据交付的效率、如何安全管理交付的数据等,是开发测试部门主要的业务需求,通过满足这些需求,既能提升数据使用的效率,又能保障数据使用的安全,实现数据使用安全与效率的双重保障,业务上实现缩短系统上线周期的绩效目标。
通过对银行软件开发中心测试环境数据的交付和管理业务进行调研分析,总结出以下普遍需求:
1、要求缩短测试数据的交付时间
项目的开发及测试是有时间周期的,由于数据量较大、数据申请较为频繁,一般一份数据的准备时间在一周左右,等待数据的时间较久,此问题不解决,将会成为开发测试提升效率的瓶颈。所以,如何提升数据副本的交付效率,是开发测试场景中首先要考虑的需求。
2、要求满足不同的数据申请需求
对于开发测试业务而言,数据的需求是多样的,有的要求某个时间点的数据;有的要求当天或前一天的数据;针对新上线的业务系统,还会有造数的需求。针对不同的数据申请需求,要求全部满足,需要考虑多种数据获取方式。
3、要求敏感数据使用前进行脱敏
在使用数据的时候,既需要考虑到敏感数据的安全性问题,又需要考虑到工作效率问题,因此,在对数据交付使用前,需要对敏感数据做相应的处理工作。需要做到自动扫描发现敏感信息,还需要做到对敏感数据的仿真脱敏,以使得敏感数据脱敏后满足实际数据使用要求。
4、要求数据使用流程闭环
开发测试使用的数据,多为从生产系统中获取的数据,基于安全和效率考虑,需要将数据获取、数据存储、数据交付、数据管理、数据回收实现全流程的闭环管理。
5、要求对副本数据进行高可用保护
交付到开发测试环境的数据,虽说是经过处理的副本数据,但对于开发测试人员来讲,该数据为测试基准数据,需要考虑到副本数据的保护问题,一旦发生故障,能够快速恢复副本数据,不影响副本数据的正常使用。
敏捷数据管理平台软件(ADM)是上海上讯信息技术股份有限公司(以下简称“上讯信息”)自主研发的,主要面向金融、运营商、政府、能源、医疗等行业打造的全生命周期数据安全管理软件产品,用于数据备份、备份数据恢复验证、测试数据交付和静态数据脱敏等应用场景,可为企业上、中、下游数据的高效使用和安全管控提供一套整体解决方案。
通过对金融用户测试数据的需求分析,提出如下方案:
1、考虑到数据的多种获取方式及数据的闭环管理,在生产域、备份域和测试域分别部署一台敏捷数据管理平台ADM Server: 生产域的ADM Server用于直接备份生产数据,以获取实时性的副本数据; 备份域的ADM Server用于从NBU/CommVault备份系统中获取备份数据,以获取任意时间点的副本数据; 测试域的ADM Server用于接收生产域或者备份域处理后的副本数据,以用于测试环境的数据交付域。
2、生产域、备份域均属于生产网络,而测试域属于测试网络,两个网络是独立的,考虑到安全性与数据的传输效率,需将生产网络与测试网络单向打通。
3、生产域的ADM Server可用于实时备份有频繁交付数据需求的业务系统,可实现备份集备份、原格式备份两种备份方式。
4、备份域的ADM Server可用于从NBU/CommVault备份系统中获取任意时间点的备份数据,并且在获取数据的同时,也可以帮助用户解决备份数据恢复校验的问题。
5、测试域的ADM Server可用于满足开发/测试环境的数据交付、测试数据版本管理、测试数据版本切换、测试数据回收等需求。
数据库虚拟化技术:数据源>3:1比率压缩存储、虚拟数据无限副本、虚拟数据分钟级创建、秒级分发。