icon图与机器学习的结合是下一代AI的技术基础icon
icon大模型与图谱icon
在模型层面,作为参数化知识库的大模型与形式化知识库的知识图谱之间,可以通过prompt作为桥梁进行互相转化。例如,知识图谱可以利用prompt参与到大模型的训练前的数据构造、训练中的任务,以及训练后推理结果的约束生成,提升大模型的性能。又如,大模型可以通过prompt,来执行相应信息提取以及思维链的推理任务,形式化成不同形式的知识【例如三元组,多元组或者事件链条】。在平台系统层面,知识图谱在相应的知识图谱平台,网络分析、图数据库查询,可视化展示、推理链条可解释上已经形成了一个工具性平台。而大模型目前通过系统接口、插件的方式又可以作为一个灵活的组件注入到知识图谱平台当中,作为一个新的生产力提升工具而存在。
icon一个图与机器学习结合的应用例子icon
iconAtlasGraph高性能图数据库关键特性icon
云原生
Cloud-Native Graph Database支持弹性伸缩,有效利用硬件资源,高可用,高可靠,故障自愈,低成本运维
HTAP
Hybrid Transactional/Analytical Processing,高性能图计算引擎,预置20余种图计算算法,可扩展的分析引擎支持更复杂的数据挖掘和机器学习场景
易用
AQL(Atlas Graph Query Language),类SQL的图查询语言,内置上百种分析函数,面向分析师友好,拥抱标准,基于openCypher向ISO GQL迈进
实时大图
支持万亿节点存储及流式计算引擎的结合,最新数据实时入库构图,为在线业务决策分析提供有力支撑
高性能
基于Rust开发的分布式存储引擎及图计算引擎,精细的内存管理设计,内置索引系统,支持毫秒级的并发查询响应速度
MPP
Massively Parallel Processing架构,大规模集群分布式存储及并行计算,Shared Nothing模式支持存储计算分离
iconAtlasGraph全流程助力图业务快速落地发展icon
易于部署
部署简便,支持命令行或可视化一键部署集群,随时可动态修改部署配置
数据安全性高
集群高可用模式提供服务跨机房的安全性保障;周期性备份恢复功能持续守护数据
可视化数据管理
支持可视化数据建模、数据源配置和图数据管理
运维成本低
服务高可用设计,支持故障自愈,可视化弹性伸缩允许集群规模随时调整,存算分离设计隔离在线离线业务
数据迁移
拥有丰富的数据接口和工具,支持从CSV、ArangoDB、Spark、Hive、Neo4j中迁移数据
系统扩展性强
基于通用Cypher语言,扩展数十种分析函数,并且支持Spark、Hive、Java SDK、Python SDK等对外接口,兼具通用性和灵活性
性能优异
基于Rust自研的大规模并行图处理引擎、内置索引系统,Cascade优化器、和高并发处理算子
业务效果好
通过海致知识图谱平台提供强大的业务可视化分析能力,预置数十种种业务场景逻辑,分析效果好
iconAtlasGraph优势—AtlasGraph分布式架构,云原生模式、存算分离、易于扩展icon
分布式架构:支持大规模图数据存储
存算分离:存储与计算资源解耦,支持HTAP混合场景,在线离线业务不影响
云原生设计:支持数据和服务高可用,故障自愈,低运维成本
资源池化:支持存储与计算资源弹性伸缩 内置多租户统一管理、数据和资源互相隔离
部署方式:支持容器化部署及离线混部
iconAtlasGraph优势—面向图应用特点深度优化icon
针对图查询特点深度优化
国内外首个采用先进的Cascade优化器框架的图数据库,有效提高复杂Cypher查询的效率,在不同的语句中,提供BFS + DFS等不同的算子,算子内实现高并发执行
计算架构充分利用机器资源
图计算采用Massively Parallel Processing架构,大规模集群分布式存储,Shared Nothing模式支持查询横向无限拓展
Rust 语言级协程
采用高效且安全的系统级别编程语言Rust编写,配合语言级别的协程支持,适用于IO密集且随机的大规模的图分析特点
针对性的分布式协议设计
采用CRAQ强一致性协议提供一定的读写分离和自动负载均衡,采用乐观多版本并发控制,提供分析友好型事务支持
iconAtlasGraph优势-易于使用,立足标准,支持多种方式灵活构建应用icon
基于OpenCypher标准
语法直观,易于理解,学习成本低,使用广泛,大众认可,面向GQL移植方便
提供多种对外接口组件
Atlas图分析平台支持低代码分析,Java SDK和Python SDK,Restful API,基于编程组件和OpenCypher语言,可灵活快速构建图应用
多种可视化平台
Studio:支持可视化分析,Monitor:支持可视化监控、日志审查、SQL性能分析、资源报警功能,Admin:支持可视化集群运维、动态扩缩容等;多种可视化平台满足不同的使用需求,实现低成本运维
针对行业业务场景提供扩展支持
基于金融业务理解提供场景函数,提供上百种Apoc函数扩展,支撑复杂分析,支持JS等语言编写插件;图计算平台支持
iconAtlasGraph优势:图计算算法功能丰富、性能优异icon
全面的算法支持
覆盖全部常用算法:路径计算、社区检测、相似度计算等;丰富的自研图算法:环路识别、链路识别、节点间全路径、发散子图识别、汇聚子图识别、金字塔子图识别
与图数据库的深度结合
使用cypher语句直接调用 支持在用户筛选出的子图上计算 灵活的参数设定
自研图计算系统架构
深度适应客户的系统环境和算法需求,机器数量有限,通常小于10,网络带宽不高(千兆、万兆以太网),需要支持各种不同类型的图计算算法
极致的性能优化
双重执行模式:单机和分布式两套计算系统,在不同的使用环境中都能达到最佳性能;针对常用算法逐个设计优化方案:对于常用算法,跳过固定的编程模型,分别设计最佳的计算方案,例如我们自研的node2vec采样算法比现有技术快了1
iconAtlas图学习架构icon
icon技术创新icon

基于图缩减的图计算方法,利用图缩略技术实现摘要图的预计算,极大降低大图上的数据交换频率,提升性能;基于图的三维划分模式,将图的节点中的属性按点划分后分布计算,极大减少集群中不同机器的通信量;图再划分技术,在计算过程中对图进行重划分,提高节点间的信息交互速度,从而显著加快算法的收敛速度、减少迭代轮数;图的磁盘IO缩减策略,最优化数据处理顺序,最大化重用内存数据,降低磁盘IO;分布式图随机游走引擎和基于采样的图随机游走高效计算方法,更准确高效地将多维数据映射成低维数据,从而实现基于交易知识图谱网络的拓扑特征及时序特征进一步挖掘客户间是否存在隐藏关系及客户账户的身份标签;图神经网络高本地性的存储格式,以及在图神经网络中以细胞为单位的请求批处理机制,将图的点边属性存在一起,将神经网络中相似的计算单元统一做批处理和执行,提高训练的效率;时序图的时态信息感知,将时间信息附加到边上,以实现传统静态和动态图的时序特征提取降维,并基于链接预测算法进行了逻辑优化,剔除实体关系冗余特征,并融合关联节点特征,实现图谱链接预测以解决断链问题

icon界面示例-本体定义icon
icon界面示例-图构建icon
icon界面示例-图分析icon
icon界面示例-图遍历和图排序icon
icon界面示例-图挖掘icon

内置丰富的场景模板与图挖掘算法;支持拖拉拽方式快速构建挖掘工作量;支持自定义算法与任务调度。

icon界面示例-局部图算法icon
icon界面示例-时序模式icon
icon当前图的典型应用场景icon
icon“世界是复杂关系的总和”—— 一张典型的金融知识图谱icon
icon图平台是数据中台的重要组成部分icon
icon构建企业级图数据资产标准icon
icon应用场景示例icon
icon应用示例:对公营销icon
icon应用示例:对公风控icon
icon应用示例:零售风控icon
icon应用示例:运营管控icon
icon应用示例:审计icon
icon应用示例:产业链事理图谱icon
icon应用示例:基于图的指标多维分析icon
传统的方式是雪花模型,基于事实表和周边的维度表,数据开发按照业务分析需求进行表聚合,然后输出报表。
基于图的方式:
1. 单一出发点,从个体(核心实体)出发,直接关联事实表数据,避免了表关联的技术细节,使得数据可视化、可探索化
2. 其次知识图谱的实体、关系建模直接面向业务概念,能够为业务人员为所理解
3. 维度表按照更加直观的方式建模,不再是扁平的表,而是树形和网络结构
4. 针对图优化的通用查询模式,查找核心实体的多度邻居是非常快速的图计算操作!
icon基于图的指标多维分析(续)icon

可视化构建,图形化表示指标语义,这些表示可以存到知识层,支持复用和程序化执行,支持自动预汇总。支持从不同视角分析,无需提前创建宽表,综合计算效率高,一次扫描计算多个指标,没有递归SQL的复杂性。

icon基于图的多维指标分析应用效果icon
基于图的AUM指标计算,相对于原来固定报表:可以灵活处理维度变更请求,实现更加灵活的分析维度相应,将原来的需求变更响应周期从1-2周下降到分钟-小时级。基于预汇总+数据拆分架构,极大降低了硬件成本(避免了大量中间表、避免了高内存成本的方案)。对接指标归因分析平台,支持实时、灵活的维度分析(20+分析维度)。统一了数据模型,通过图模式表达查询条件,从而避免了黑盒SQL代码。一次扫描,计算多个聚合指标(三方口径、时点/累积等),提升综合计算效率。
icon应用示例:数据血缘分析icon

在元数据档案中,可以查看每个数据资产的血缘信息,包含表级血缘、字段血缘、关联模型等。实现数据资产从数据源端到用户端全链路血缘查看和分析,例如数据主人分析、数据来源分析、数据层次分析、数据价值评估、数据消费分析、数据溯源等。

icon元数据影响分析icon

在元数据图谱基础上,可以进行数据资产的影响性分析。针对当前分析对象,通过知识图谱的路径扩展能力,评估数据变更对数据应用的影响。影响性分析能帮助用户迅速了解分析当前元数据对象的下游数据信息,快速识别元数据的价值,掌握元数据变更可能造成的影响,以便更有效的评估变化带来的风险。

icon元数据图谱分析icon

在元数据图谱基础上,针对特定的数据资产,通过知识图谱分析能力,进行数据资产的图分析、图查询,以可视化交互的方式,方便数据管理运营人员进行数据资产链路及血缘的拓展及推演。

icon数据核心资产及链路查询icon

在元数据图谱基础上,开展核心资产识别及数据链路查询。通过知识图谱的路径分析能力,进行数据资产全链路查询分析,并通过例如中心点分析、PageRank、社群分析等图算法能力,从元数据定义、应用情况、价值密度、数据质量等维度,进行核心数据资产识别以及重复数据资产识别治理等工作。

icon数据链路监测质控icon

在元数据图谱基础上,进行核心业务数据链路提取、数据加工任务监控等建设内容,实现应用链路监控、状态异常告警、错误定位分析等,从而辅助数据运营管理人员快速发现和定位数据问题及根因,提高数据运营能力。

icon案例:建设银行全行级图平台建设icon

2017年底,建行先以图数据库的图存储及GRAPHX的图计算能力做信用风险传导图场景的应用实现。基于特定风险事件与关系网络形成的特定传导路径,构建企业风险传导模型,输出企业的整体风险、传染源头及传染路径,为业务风险管理提供业务支撑。

2018年中,建行厦开领了大数据云平台的建设规划任务把知识图谱组件当做了数据挖掘层的核心组件,因而产生了图数据分析挖掘和应用隔离的图分析平台的设计逻辑;随着图分析平台架构的完善以及作用放大,经过与整体大数据云平台对接融合,形成现在的全行级架构,并全面赋能知识图谱应用落地。

随着多个图谱项目的实际落地应用,也暴露出各项目独立开发建设过程中,存在图数据标准体系建设、图计算资源整合应用、图平台运维标准化、图数据权限控制体系、图知识服务输出标准等诸多方面的重复投入和各自为战的不足。能否构建一个完备且体系化的数据管理体系是支撑行内图谱长远化、稳定化、多元化发展的前提条件,所以需要从一个大且全面的视角构建和完备全行图数据体系的建设。

icon建设银行图数据资产盘点icon

建设银行内部分为金融知识图谱、通用知识图谱、其他知识图谱三大部分,2023年将逐步对其他知识图谱进行统一上收。目前行内图数据库集群规模达到30+节点,经过图仓的本体合并、明细汇总等操作,总体图数据量大约在700亿,其中实体大约在50亿+关系大约在600亿+。

icon案例:图神经网络赋能平安银行黑产客诉识别icon

近年来银行各业务条线的不良率上升,其中零售、信用卡等借贷不良业务增量突出,继各大银行对息费调减尺度开放之后,涌现出大量攻略(代办,非代办)客户,客户投诉案件呈现迅猛攀升的趋势。为了打击黑产攻略客户投诉带来的业务冲击,某股份制银行信用卡中心基于客户基础属性、全量历史交互轨迹、全量录音文本及客户知识图谱关系网络等信息搭建智能黑产识别模型,帮助客户团队在接线时识别对攻略客户作出概率预判,有效应对。

icon案例:图计算赋能反电诈icon

公安部门总结10大类、48子类常见的电信网络诈骗,各种诈骗模式在信息流中各有差异、在资金流特征存在共性特征,基于不同诈骗类型的共性和个性特征,建立以专家规则、机器学习与图算法结合的可疑行为与交易监测模型。

icon反电诈模型体系建设icon
icon疑似电诈团伙识别icon
产品推荐 查看更多>>
    腾讯云云原生分布式数据库TDSQL-C

    TDSQL-C 是腾讯云自主研发的云原生分布式数据库。融合了传统数据库、云计算与新硬件技术的优势,100%兼容 MySQL 和 PostgreSQL, 实现超百万级 QPS 的高吞吐,128TB 海量分布式智能存储,保障数据安全可靠。

    100%兼容开源数据库引擎MySQL5.7 和 PostgreSQL10

    具有商用数据库的强劲性能,最高性能是MySQL数据库的八倍

    计算节点实现无状态,支持本地和跨设备的秒级故障切换和恢复

    集群支持安全组和VPC 网络隔离

    UXDB优炫数据库

    具备支持多种数据类型、在线弹性扩容、高可用性、高性能、高安全性、数据即服务等核心能力,可应用于高频联机系统、地理信息、数据仓库、商业智能等多业务场景。

    高可用

    安全可靠

    腾讯云向量数据库

    腾讯云向量数据库是一款全托管的自研企业级分布式数据库服务,专用于存储、检索、分析多维向量数据。该数据库支持多种索引类型和相似度计算方法,单索引支持 10 亿级向量规模,可支持百万级 QPS 及毫秒级查询延迟。腾讯云向量数据库不仅能为大模型提供外部知识库,提高大模型回答的准确性,还可广泛应用于推荐系统、自然语言处理等 AI 领域。

    自研企业级分布式数据库服务

    存储、检索、分析多维向量数据

    支持多种索引类型和相似度计算方法

    支持百万级QPS及毫秒级查询延迟