企业或组织利用数据驱动实现数字化转型的过程中,需要借助大数据、云计算、人工智能等技术能力,实现业务数据化、数据资产化、企业经营数据化。这个演进过程一般按照数据统一化、数据资产化、数据业务化和数据生态化分阶段进行,这便是大型企业的数据业务演进路线。
某家大型食品零售集团旗下拥有多个全国知名子品牌,也更希望通过数据来驱动业务增长,解决数据孤岛和传统分析架构的局限性。
奇点云数据云平台以跨平台、云原生、自主可控、数据安全为技术内核,为他们提供了全链路的“产品+技术+方法论”服务,支撑客户构建其自有的数据生产力,最大化激活数据价值,驱动业务增长与创新。
数据云是企业数字化演进方向
随着数字化的演进深入,企业不仅仅需要大数据平台,还需要在此基础上增加数据科学平台、应用 PaaS 平台以及数据中台等技术平台来完善数字化基础设施,并且需要将相关的能力通过云服务的方式提供给企业内所有用户,从而将企业内部中心化的数字化能力与广泛存在的一线业务需求结合起来,实现数据驱动的业务发展模式。
这样的数字化基础设施平台就是数据云,是行业内数据平台的演进方向。数据云需要在一个 PaaS 平台上提供包括数据分析、应用开发和智能建模等在内的完整的面向数据生命周期的工具链,并开放给尽可能多的使用者来尝试创新。
这家零售企业在品牌A用上奇点云数据云平台一年以后,品牌B也想上数据云平台,为此奇点云提供了三个解决方案供其参考。
方案一:品牌B独享新一份集群资源,与品牌A共用同一套数据云平台管理。
方案二:品牌B数据接入原有平台,与品牌A共用一套资源及平台。
方案三:和品牌A共用一套资源及平台,但采用多租户安全技术方案。
据方案一所述,品牌A继续用原有资源及数据云平台,品牌B另外采购一份新的集群资源,双方数据物理隔离,互不抢占资源,权限也完全掌握在自己手中,安全指数极高。
奇点云数据云平台DataSimba支持通过同一平台管理多个工作空间(Workspace),因此企业无需另外购买数据云平台,品牌A、品牌B以及该公司更多其他部门都能在各自权限内使用该平台。
不过双份的集群资源意味着双边资源都无法得到最大程度的利用,存在一定程度的浪费。
相比之下,方案二无需重新部署,只要导入品牌B的数据,并在数据云平台上为B开设新账户,A和B通过平台各自管理权限内的项目;双品牌可以共享集群数据、存储和计算资源,依赖平台调度能力,品牌A和品牌B所用的资源能动态调度,总量上更节约。
不过它在数据安全上稍显弱点,权限体系未触及大数据集群管理引擎,缺乏金融级的防盗门和监控系统。另外这个方案对平台调度能力要求也很高,不然容易出现耗时太久影响业务进展的情况。
奇点云的多租户实践技术
“多租户”,顾名思义,资源方把资源“租赁”给多个客户。“租”指客户自己没有资源(例如计算、存储、数据、服务等资源),需要租用。“多”则指资源提供方提供的资源同时被多个租户租赁使用。
多租户技术自提出以来已有60余年,从大型机到云计算时代,都曾得到广泛应用。它让资源提供方的资源利用最大化,作为平台身份服务更多租户,也免去了租户自行运管基础设施的烦恼。
以企业举例,IT团队负责为企业采购并管理一整套资源,其中各BU就是不同的租户,租户在各自的资源空间下完成自己的开发工作,而互不抢占资源、影响作业进度。同时,管理方也可以根据各租户长期使用情况,更合理地规划资源。
为此,DataSimba在经典的多租户方案基础上,增加了“双层身份认证”、“双层权限校验”、“双层存储加密”,来保证租户资源的强逻辑隔离与数据安全。
1、双层身份认证
数据云平台(例如DataSimba)和大数据集群管理引擎(例如DataKun)是两套独立的系统,有各自的账户体系,需要在每个系统入口均进行严格的身份认证。其中,DataKun开启了Kerberos认证,每个用户(Unix User)都会被分配自有的Principal及Keytab文件(相当于登录名和密码)。
在两套系统各自完成身份认证的情况下,完成两套账户的一对一映射。此后,DataSimba的用户(User)向DataKun提交分布式离线/实时作业,都是通过其关联的Kerberos凭证进行身份认证。
2、双层权限校验
DataSimba对接口和菜单权限、数据权限均有所管控。以数据权限为例,租户(Account)下设若干子账号(User),子账号的数据权限申请只能在租户已租用的资源范围内,权限粒度可精确到表、字段、行级。
同样,大数据集群管理引擎例如DataKun,也需要进行权限校验,鉴权粒度为数据库级数据权限,来保障大数据集群侧用户(Unix User)数据、存储、计算的隔离与安全。
需要注意的是,两层权限均是通过权限策略进行强逻辑隔离。这也意味着租户之间的计算、数据、存储和服务隔离是软隔离,可以通过动态调整权限策略,实现多租户之间的计算、数据、存储和服务的共享。
3、双层存储加密
架构中设置了两层文件存储加密“双保险”,包括:DataSimba侧基于分布式存储方案,开启透明加密;大数据集群引擎侧开启底层文件加密和密钥的管理权限独立托管。
在许多客户的实际场景中,数据云平台和大数据集群管理引擎可能是独立运营的,数据云平台如果本身没有严格的数据权限管控体系,而完全依赖于集群管理的安全政策,就难以100%确保数据安全。
目前,该集团通过奇点云多租户技术架构的部署,已经节约了50%的大数据集群计算节点,同时,通过动态的权限管控,支持租户间(例如跨部门)数据安全共享,而无需数据迁移成本。
更多产品了解
欢迎扫码加入云巴巴企业数字化交流服务群
产品交流、问题咨询、专业测评
都在这里!
2022-11-22 16:33:11
2020-04-29 17:08:33
2022-11-22 16:36:50
2022-11-21 11:12:23
甄选10000+数字化产品 为您免费使用
申请试用
评论列表