icon非结构数据处理面临的挑战icon

•  数据体量巨大,未来超过80%的数据属于非结构化数据,AIGC时代多模态数据的生成速度远远超过结构化数据,系统扩展性性能至关重要。
•  非结构化数据理解困难,虽然LLM已经大幅降低了非结构化数据理解的成本,但由于数据质量、多模态,成本性能等问题,单一大模型并不能完全解决非结构化数据理解的问题,很多场景下依然需要多模型组合,搜索与生成结合等方法。
•  算力的要求巨大,推理、向量数据库存储检索等都是算力密集型应用。算力的需求和成本往往成为挖掘非结构化数据的一大阻碍。
•  缺乏工具,虽然传统的结构化数据处理并不简单,但由于ETL、数据库、数据仓库等工具在过去30年的发展,已经变得相对成熟。然而,非结构化数据处理的工具链刚刚开始构建,这就使得非结构化数据的处理相比结构化数据更具挑战性。

 

icon向量数据管理的主要挑战icon
有效存储

向量数据多为浮点或者二进制数据;

数据压缩率低,存储成本高

高效计算

向量数据计算复杂度高,

往往需要异构计算的能力

索引繁多

有树、图、哈希和倒排等多种向量索引,

索引管理和使用成本高

扩展性

非结构化数据的快速增长

对系统的扩展性要求越来越高

低延迟

在线业务对检索功能的毫秒级响应需求

混合查询

标量和向量混合存储查询的需求

iconZilliz - 构建开源+云的非结构化数据处理方案icon

 

iconZilliz Cloud - 助力全球企业构建云上全托管向量检索服务icon
维护成本低
•  一键创建实例资源
•  动态扩缩容
•  无感升级迭代
•  完善的监控报警
•  多云支持
使用门槛低
•  免费试用实例
•  可视化界面
•  多语言SDK
•  丰富的生态支持
•  数据迁移
丰富的企业级特性
•  7*24服务支持
•  99.9SLA保障
•  数据备份,订阅
•  组织架构管理
•  Dedicated Cloud
安全放心
•  RBAC权限管理
•  TLS,白名单
•  PrivateLink
•  审计日志
•  SOC2合规认证
iconZilliz Cloud功能架构icon

 

icon全球服务覆盖icon

 

icon灵活的部署方式icon

 

icon实例类型icon

 

icon系统安全与数据安全icon

 

icon开源标准接口+灵活迁移部署icon
 
 
 
•  Zilliz Cloud 遵循Milvus 开源接口
•  Milvus 与 Zilliz Cloud 无缝迁移
•  私有环境 Milvus 与Zilliz Cloud双写
•  开源方案+多云方案,避免单一云服务商绑定
icon向量查询能力icon

 

icon数据类型icon

 

icon扩展能力icon

从6500万向量水平扩展至10亿向量,系统查询延迟与查询吞吐基本保持稳定
(当前线上版本相比图中2023年初测试结果有2-5倍性能提升)

 

icon组织与成员管理icon

 

icon多租支持icon
 
 
 
•  Agent, Assistant
•  应用层多租
•  按授权的权限控制
•  按内容类别分组
•  按时间窗口分组
•  其他
iconZilliz RAG Total Solutionicon

 

icon从向量检索到非结构化数据检索:Ingestion和Search流水线icon

 

icon全文检索+多向量支持+多路召回+排序icon

(即将发布,敬请期待)

icon一图看懂向量数据库之间的区别icon

 

icon全球市场主流VDB产品icon

 

icon商业版引擎与开源版引擎的性能差异icon

Zilliz Cloud 相比 Milvus,平均QPs1.67x,最高2.64x

 

iconZilliz Cloud带来用户综合成本下降icon

 

icon开发成本降低icon
部署
一键部署
多云,多Region,多AZ
提供OpenAPI管理
面向开发者的功能
数据离线导入
表Alias/Rename
TTL
强大的查询能力
支持高性能的标量过滤
支持动态Schema
高级数据结构 - List/Set/Json
多语言SDK
支持Python,Go,Java,Js等
多语言SDK
支持Restful API
icon索引智能调优icon
 
 
•   向量检索的性能取决于复杂的条件,包括但不限于
   •  索引类型
   •  硬件:CPU,GPU,ARM,磁盘类型,
   •  索引参数
   •  查询参数
   •  系统当前的负载状态
•  传统的Knob Tuning需要对业务需求跟向量索引都有深入的理解
icon性能优化 - 自研Cardinal向量检索icon
 
 
 
 
 
•   Glass 是Zilliz自研的向量检索库实验室版本,未开源
•   Knowhere是目前开源的Milvus依赖的内核
•   通过SIMD优化,并发优化,索引数据结构调整,量化策略和缓存策略调整,实现了开源方案ScaNN/HNSW三倍以上的性能提升
icon性能优化 - 混合查询icon
 
 
•   基于列存和向量化执行
•   支持对Json,Array,Map等动态数据类型进行过滤,类SQL表达式实现
•   通过引入代价评估,支持多种物理执行计划解决过滤时图的连通性问题
•   支持对于标量数据构建倒排索引
•   标量向量混合查询-ETA 2023.9
icon向量数据库评测:VectorDBBenchicon

 

iconVector DB性能实测icon
 
 
在某大型客户进行的各主流品牌向量数据库性能PoC实测中,采用了开源的评测工具

VectorDB Bench进行评测,其结果显示:
•   ZillizCloud 8cu-perf配置QPS遥遥领先
•   第二名同样为Zilliz公司开源版本Milvus16c64g-HNSW配置
•   前10名中,Zilliz公司产品各配置占据6席
•   相似配置的情况下,Zilliz Cloud产品的性能明显优于开源版本Milvus
icon成本优化 - 基于磁盘的混合索引icon
 
 
 
•   基于磁盘和内存的混合存储
•   相比于纯内存索引节省10X内存
•   相比于业内其他混合存储方案,性能提升3倍以上

•   基于磁盘缓存,大幅降低索引构建时需要的内存开销
icon运维成本降低icon
升级扩缩容
滚动升级
自定义运维窗口
弹性扩缩容
数据管理
数据查询服务
完善的权限管理
多租户配额管理
监控报警
支持快速查看监控指标
自定义报警配置
PaaS版支持对接普罗米修斯
数据服务
数据迁移
数据备份
数据订阅
icon安全合规icon
认证加密
基于用户密码和Token的校验
基于第三方的数据加密
网络
TLS/SSL传输层加密
IP白名单
VPC Peering,Privatelink
RBAC权限管理
支持多租户权限隔离
支持多租户物理资源隔离
合规认证
SOC2 Type2认证
日志审计
数据脱敏
iconZilliz专家服务icon

•   安全可靠,99.9 SLA保证
•   大量生产验证的部署方式和运行参数,大幅提升性能和故障恢复速度
•   7*24支持,重大问题快速响应兜底

 

iconZilliz Cloud适用业务场景icon
图片搜索

基于视觉或语义的图片相似性检索

视频搜索

视频理解和基于内容的视频检索

文本搜索

对新闻、文章、专利、文件等进行
相似性搜索

数据去重

数据聚类;文本、图像、音频、
视频等数据去重

跨模态搜索

支持灵活的多模态数据查询体验

推荐系统

对用户和产品的丰富特征进行编码,
探索他们之间的深层关联

问答系统

个性化推荐系统和定制化搜索

版权保护

侵权检测,跟踪并追踪数据源

网络安全

基于 AI的恶意软件检测和网络攻击检测

AI制药

AI 挖掘文献,快速分析分子结构

特征处理

特征聚类和异常检测等

欺诈保护

揭示用户行为和欺诈行为之间隐藏的关联性

icon向量数据库场景探索icon

 

icon使用向量数据库典型流程剖析icon

 

icon典型应用场景解析icon

 

icon典型案例1 - 某综合性AI企业icon

 

icon典型案例2 - 某车企自动驾驶研发icon

 

icon典型案例3 - 某制造业企业icon

 

iconMilvus客户生态icon

●  Milvus 被全球超过 1000家企业用户所信赖,超过860万次下载和安装,最大库规模超过20亿条向量
●  Milvus Github Star数目超过2.4万,贡献者人数超过 200
●  Milvus DB-Engine引擎排名171,并且在SIGMOD和VLDB等数据库顶会上发表了论文,奠定了向量数据库的基础

 

 
产品推荐 查看更多>>
    腾讯WeTest游戏出海解决方案

    腾讯WeTest游戏出海解决方案新颖的游戏玩法/严谨的数值设计。拥有丰富的游戏场景,以及优秀的性能表现。⾼安全性、服务器稳定性强、以及兼容弱⽹环境下的体验。

    兼容性

    性能表现

    高安全性

    服务器稳定性强

    微软 Azure OpenAI服务

    微软 Azure OpenAI服务,部署在你的Azure订阅中,由你保护,只由你访问,并与你的数据集和应用程序绑定。大型的预训练AI模型来解锁新的场景,基于角色的访问控制(RBAC)和专用网络的企业级安全。

    内容生成

    总结能力

    代码生成

    语义检索

    道一云人事行政管理解决方案

    道一云人事行政管理解决方案通过系统实现人事管理全面信息化办公,员工的档案和状态一键查询、实时了解。涵盖企业招聘、员工管理/自助、培训、绩效考核、薪资等全事务。以及员工入职、转正、调岗、调薪、离职操作都可以通过手机端或PC端提交,流程在线自动流转,审批方便,信息在线保存。

    业务填报

    填报明细

    报表数据

    产品领用管理