icon自动驾驶(AV/ADAS)开发 Workflowicon
icon腾讯云自动驾驶(AV/ADAS)存储解决方案icon

提供自动驾驶数据采集、存储、标注、计算,算法训练、仿真和评测及基于数据回传的算法迭代等全流程服务。

icon数据采集和上传 data acquisition and ingesticon

数据的采集和上传通常采用两种模式:车载硬盘回传到本地数据中心,原始数据先上传到本地存储,之后在通过专线上云;腾讯云提供从物流到数据拷贝的端到端服务,车载硬盘邮递到机房接入点,由腾讯云工作人员直接将数据上传到云端;单路带宽32Gbps,充分使用到NVME的带宽,理论写入高达1800MB/s ;支持PCIE3.0,适配多种工控机;单个硬盘盒32TB,车端放置2个硬盘盒合计64TB容量。将写满数据的车载采集系统的SSD盘(以私有格式存储)拔下;采用专用包装箱子,防震保护,且箱子支持上锁。寄送至腾讯云在全国Region的机房接入点;由接入点工作人员进行数据拷贝。腾讯云各接入点与内网联通,通过腾讯内部骨干网进行数据集中收集。

icon数据处理和分析 data processing and analyticsicon

检测数据完整性,去除低质量数据,进行数据格式的转换,抽帧。补充和丰富其他数据,天气,地理信息等。

原始数据来源包括:摄像头,毫米波雷达,激光雷达,数据格式包括:ROS bag,MF4。

解码原始数据,检测数据的质量和完整性,清洗掉低质量数据。处理在MF4中的radar和Video数据,转换数据格式到Parquet,JPEG。

丰富其他数据,天气,地理信息;对数据进行脱敏,模糊人脸,去掉声音等;场景检测,提取Metadata,包括速度,转向角度,交通信号,行人车辆等,存储到 Hbase 和 ES 中,用于快速查询需要的场景,进行大数据分析和模型训练。

icon数据标注,构建高精地图 Data labeling, map developmenticon

通过大数据和ML进行数据标注,场景搜索和索引,提取地图信息并更新高精地图。用机器学习来自动标注数据,包括Object detection,Object Tracking,semantic segments,形成原始训练数据集;对数据集进行深度验证,形成最终训练数据集;可以根据Metadata,进行特定场景搜索;通过ML,提取地图信息,更新高精地图。

icon模型算法训练 model and algorithm developmenticon

标注的数据通过缓存加速后,进行模型训练。训练后的模型通过模拟仿真、测评后,通过OTA发布。数据集包括海量小图片和标注信息,每个训练迭代,需要把对应的数据集load到全局缓存中,提高训练效率;模型规模大(上亿参数)需要采用集群训练(多台8卡GPU),目前主流是NVIDIA A100/V100;训练框架以TensorFlow,PyTorch为主;模型需要通过模拟仿真、测评平台,进行软件在环,硬件在环,车辆在环测试;测评后的模型,通过OTA进行发布。

icon模拟仿真、验证 simulation and validationicon

训练后的模型,需要经过一系列模拟仿真来验证模型,通常软件在环(SIL)在云上进行,硬件在环(HIL)在本地数据中心进行。软件在环:处理后的场景数据作为输入,通过软件模拟各种传感器,在模型训练早期,快速验证模型;硬件在环:以路采的原始输入作为输入,通过工具对原始数据进行回放来模拟各种传感器输入,在模型训练后期,接近真实环境验证模型。

icon腾讯云车联网V2C(Vehicle to Cloud)解决方案icon

提供车联网 V2C 实时数据接入、解码、转换、分析、消费、存储等服务,为模型训练,高精地图等业务提供最新的数据。

icon腾讯云高精地图 HDMAP 解决方案icon

腾讯云提供HDMAP TCE 专有云/私有云方案,方案包括存储层、中间件、业务层,并结合公有云的V2C、OTA服务,形成数据采集上传,高精地图生产、下发端到端的解决方案。HDMAP需要满足合格要求,基于腾讯云TCE方案,部署在客户专有云/私有云中;量产车通过V2C上传数据,经过传输加密通道进入HDMAP业务系统,数据被处理后用来完善HDMAP数据;HDMAP通过OTA服务更新地图信息到量产车。

icon模型训练加速 – 什么是GooseFSicon

计算端缓存加速:多协议支持:HDFS/FUSE/S3,云原生: 容器化部署/EMR集成 ,多级缓存:RAM/SSD/HDD,云生态:云监控/云日志/统一鉴权。

iconGooseFS(Cache Accelerator) – 在计算端,提供数据缓存加速能力icon

Data Cache:支持Prefix Level预热,按目录加速;支持多种数据缓存淘汰策略,LRU/LRFU/TTL;支持缓存数据同步/异步写入COS。Metadata Cache:避免了大量的list operations;提高了Metadata 访问性能。

iconGooseFS: Namespace,同一个GooseFS集群可以加速多个Bucketicon
iconGooseFS:每个Namespace,可以设置独立的Write/Read Type Policyicon
iconGooseFS :完善的运维、监控能力icon

GooseFS 提供 部署、安全、监控、告警等全流程运维能力以及对应工具。

iconGoosefs:全托管服务,降低运维门槛icon
GooseFS 支持全托管部署,从而减少运维工作量。
场景
希望无感知加速COS;运维人员有限、需要减少在集群部署和运维层面的投入。
实现效果
高效、快速部署,对业务集群无侵入;支持通过腾讯云 API 创建 GFS 集群;支持按需购买不同配置(容量、带宽等)的GFS集群,按需付费;支持用户侧通过GFS client发送GFS指令,增删查改GFS配置项,增删查改文件等操作;支持通过云监控,CLS等多种渠道获取GFS集群日志和监控信息。
iconGooseFS :控制台icon

GooseFS 提供托管集群和容器集群控制台;涵盖集群创建、集群管理、任务管理、性能监控等全流程UI界面。

实现效果
支持通过控制台页面快速在TKE上通过GooseFS应用快速部署GooseFS应用;
支持用户侧通过WEB视图查看集群运行状态和POD节点监控状态; 支持在控制台上完成存储桶挂载、变更以及集群配置管理操作。
iconGooseFS :日志管理icon

GooseFS 的 Master 和 Worker 节点,以及 Spark 等计算框架通过 GooseFS Client 请求 GooseFS 时,都会记录请求日志,用户可对输出日志进行分析,进行问题排查。

实现效果
支持将 GooseFS 运行日志上报到腾讯云的日志服务(CLS)或 Elasticsearch Service(ES)中。
记录 TRACE、DEBUG、INFO、WARN、ERROR五个级别的日志。
GooseFS 支持配置 GC 事件日志,FUSE 接口日志,RPC 调用日志,UFS 操作日志,以及进行日志分割和日志筛选等操作。
iconGooseFS : Prometheus+Grafana监控icon

Goosefs 监控指标记录了客户端、集群、Master 节点、 Worker 节点、进程的运行状态,可以通过配置将指标数据输出到不同的监控系统中。

实现效果
将监控指标上报到自建的 Prometheus 和云上 Prometheus 。
监控指标丰富。
使用 Grafana 查看监控指标。
icon自动驾驶数据存储 – 对象存储 COSicon
存储可靠性
提供多副本或者纠删码冗余存储,最高可达12个9的数据持久性。
开放兼容
提供全兼容行业标杆AWS S3的接口,提供terrafrom等多种生态工具支持。
数据安全
提供多租户权限隔离,支持HTTPS加密传输,支持SSE-KMS加密等多种数据加密方式。
高可用
提供高达99.95%的服务可用性,为您的业务保驾护航。
高性能
提供高达30,000 QPS的请求性能;保障客户业务在高并发情况下稳定运行。
低成本
提供具有竞争力的产品定价,支持数据生命周期管理,进一步降低云存储成本。
icon自动驾驶数据存储 – TStor OneCOS 存储一体机icon

TStor - OneCOS(Yotta Store) 是采用腾讯云COS相同架构,针对大规模对象存储场景推出的海量分布式对象存储。支持任意多副本及纠删码的冗余模式并存,支持原生多 AZ 容灾。在大幅提升系统可用性、可靠性及性能的同时,大幅度降低存储成本。

icon自动驾驶数据存储 – TStor X2000 存储一体机icon
任何规模
轻松扩展容量和访问性能 统一的文件、对象和HDFS数据访问,可支持数十亿级个文件数量和YB级的容量,多集群/混合云管理能力。
任何地点
全局命名空间 跨广域网的数据流动、冷热分层,同步/异步的容灾,端到端的数据一致性保障。
优化成本
基于策略的数据自动分层,优化闪存利用,数据压缩,基于复制和纠删码的数据保护,领先的备份/归档性能。
开放兼容
异构存储,包括闪存、磁盘和磁带,灵活的数据迁移,文件/对象的云数据共享 云集成能力。
icon客户案例:蔚来汽车icon

蔚来是全球化的智能电动汽车品牌,于2014年11月成立,旗下主要产品包括蔚来EC6、蔚来ES8、蔚来ES6、蔚来EP9、蔚来EVE等。蔚来已经在NYSE上市,今年计划HK上市,国内电动车顶级品牌。目前年销量10W+,所卖车辆均属于高端电动车,主要卖点高科技智能驾舱,自动驾驶服务等,公司主打和建设L4级别全天候自动驾驶;今年公司发力欧洲和东南亚市场。

客户需求

数据增长快,年100PB量级,不具备大规模存储自建和运维条件;业务涉及多计算平台,需要支持多种协议同时访问数据;训练平台需要高性能存储,提升训练效率;

方案描述

海量数据存储:公有云COS数据湖提供弹性、低成本存储服务,存储全量原始路采车数据,以及预处理后的数据。合肥本地数据中心,通过OneCOS提供30PB存储空间,存储短期热数据;数据预处理平台:TKE + GooseFS,做为图片处理(截帧,转换,脱敏)平台,处理后的数据存放到COS,用于自动驾驶模型训练;自动驾驶训练平台:COS上的训练数据,通过GooseFS提前预热,加速GPU训练IO性能,提升训练效率;

方案价值

公有云COS和本地OneCOS为用户提供了海量、低成本存储服务,解决客户数据快速增长需求。通过100Gb专线,数据在COS和OneCOS之间自由流动,帮助客户构建了自动驾驶混合云平台;GooseFS作为高性能存储缓存服务,通过HDFS,POSIX,对接数据预处理和训练平台,通过数据缓存能力,帮助自动驾驶训练性能提高30%。

icon客户案例:Boschicon

ETL:对原始采集数据进行预处理,借助于大数据平台,GooseFS通过HDFS接口访问数据,大文件读,小文件写,高带宽;Labeling:对预处理后的数据进行标注,借助AI自动化平台、或人工平台,GooseFS通过POSIX接口访问数据,小文件写,低时延;Training:对标注后的训练集数据进行自动驾驶模型训练,借助训练平台,GooseFS通过POSIX接口访问数据,小文件读,高IOPS,低时延;Scenario Repo:通过预处理后的数据来模拟特定场景,验证感知算法,GooseFS通过POSIX接口访问数据,大文件读,高带宽;Endurance Run:通过使用原始数据回放来进行仿真,验证自动驾驶模型算法,GooseFS提供POSIX接口访问数据,大文件读,高带宽。

icon客户案例:Boschicon

GooseFS Master:独立部署 3 节点部署(1个Leader,2个Followers),保障集群高可靠,机型参考腾讯云 CVM IT5;GooseFS Worker:同业务混合部署在一起,为计算节点提供高速缓存服务,机型参考腾讯云黑石 A100;GooseFS Client:同业务混合部署在一起,为计算节点上的训练业务提供POSIX接口。

icon客户案例:鉴智机器人,基于GooseFS+COS打造全生命周期AI训练方案icon

自动驾驶初创明星企业,创立2个月内就获得数千万美元融资

客户需求
作为初创公司,要求系统架构尽量简单高效,数据能够高效流转支撑业务快速发展。系统架构可演进,能够为未来产生的海量数据训练和存储提供低成本扩展方案。
方案描述
采用GooseFS+COS方案,一套方案解决热、温、冷数据存储需求,实现数据对用户的无感流动。GooseFS提供高速NVMe缓存应对AI训练性能需求,对外兼容Posix接口避免客户应用改造。 方案价值 相比传统文件存储,GooseFS高速缓存时延更低,无网络开销,同时可避免数据多次拷贝,整体训练效率可提升25%以上。热数据直接利用计算侧缓存,无需专门文件存储;冷数据自动沉降,按需回热,存储建设成本降低30%以上。
产品推荐 查看更多>>
    腾讯千帆神笔aPaaS

    腾讯千帆神笔aPaaS是⼀个以腾讯云为技术基座,背靠500+伙伴⽣态,以模型驱动为核⼼,通过图形化组件拖拽配置实现对象建模、 流程编排、页⾯设计,⽆需代码或通过少量代码快速开发、稳定运⾏复杂场景业务应⽤的⼀站式开发平台。

    图形化快速搭建复杂应⽤系统

    模型驱动,定制化能⼒更强,应⽤场景更⼴泛

    快速迭代:可视化设计,所见即所得

    继承企业原有IT系统,⼆次开发企业应⽤

    腾讯游戏运营增长解决方案

    腾讯游戏运营增长解决方案,效果买量渠道精准追踪,实时了解投放效果,优化买量素材、策略;非效果渠道追踪、分析,了解投放合作效果。通过行为数据与算法预测新用户生命周期,计算新手LTV,为渠道买量的ROI分析提供精准效果数据。

    实时了解投放效果,优化买量素材、策略

    非效果渠道追踪、分析,了解投放合作效果

    全面诊断各成长线运营现状

    实时监控活动数据,整体活动复盘

    腾讯CODING DevOps研发项目管理系统

    CODING DevOps包括代码托管、项目管理、测试管理、持续集成、制品库等多款产品和服务,涵盖软件开发从构想到交付的一切所需,使研发团队在云端高效协同,实践敏捷开发与DevOps,提升软件交付质量与速度。

    OKR规划与进度跟踪,业务需求流转与分解

    Scrum敏捷研发管理,安全可控的代码管理

    个性化编排及自动化执行,质量左移及代码规范

    交付物标准化管理,应用全生命周期管理