雁栖学堂-湖存储专题直播第九期原创

2022-01-192022-01-19 17:20:05播放1.3K

点赞0 收藏 0

1. 自动驾驶的云原生趋势 2. 腾讯云数据湖存储自动驾驶解决方案介绍 3. COS数据湖GooseFS、TStor在自动驾驶场景中的应用 4. 自动驾驶数据湖案例分享

视频文本

温馨提示：文本由机器自动转译，部分词句存在误差，以视频为准

00:00
大家晚上好，欢迎来到云家社区直播间，今天是我们燕溪学堂胡从储专题直播第九期，本期我们邀请到的是腾讯云存储高级架构师王登宇老师，今天分享的主题是数据加速器F在自动驾驶场景下的应用，然后直播开始前呢，我还是简单跟大家说一下我们的抽奖机制，在活在活动的报名环节是有抽奖激励的，然后抽奖链接我们是附在那个公众号的推广能力，然后这个的话是在只只要你在明天中午12点开奖之前都是。都是可以去抽取抽取的，然后直播中呢，我们也是也有设置那个活跃奖跟提问奖，然后中奖名单呢，会会在直播结束之后公布在评论区，然后我简单跟大家说一下我们的奖品现在有什么吧，我们的奖品现在是有公仔抱枕，还有那个毛绒按摩器，然后现在还有那个视频礼盒以及。
01:05
呃，还有书签，然后书签的话是王者荣耀联名款的书签。那接下来呢，我们把时间交给王老师，由王老师带我们给我们做分享。嗯，啊，线上的小伙伴大家好，呃，非常感谢啊大家啊，花时间来参加我们这个分享，那我今天的啊主题呢，是实际上是围绕啊腾讯云的数据库，还有就是自动驾驶啊这个场景啊一些解决方案的介绍，所以呢，我的呃真的分三块啊，我先会啊简单介绍一下自动驾驶。云原生这个解决方案，那么接下来我会介绍一下在这个方案当中啊，涉及到的一些存储产品。啊，最后呢，我会给大家分享一个啊，我们真实的一个客户案例。
02:00
对呃，因为呃，为什么要讲这个topic呢？其实啊，大家都知道啊，最近几年啊，特别是啊电动车啊，基本上已经啊说一个很普及的一个啊态势啊，不管是像传统的啊车啊，或者我们这个招生新势力。啊，还有很多的一些围绕自动驾驶的一些啊，Up公司啊，其实大家都会啊投入到这个行业里面来，所以目前这个行业是一个快速发展的一个一个阶段，那么其实随着呃，这个车联网的崛起啊，大家可以看到，那么汽车啊，将会成为下一个下一代啊，这个智能终端的一个入口啊，因为我们大家经过这个互联网啊，移动互联网，所以说。啊，汽车呢啊，其实是我们下一代的这个智能入口啊。那么讲到这个汽车行业，我们不得不提到自动驾驶啊，那么自动驾驶呢，其实啊，作为我们汽车啊最核心的一个场景，那么在这个场景当中啊，我们也分解了一下啊，大概分为这六个部分。
03:12
啊，因为我们服务的一些啊客户啊，从我们客户来看，基本上都是采集车啊，在上会做一些视频的采集，那么实际上这个时候会产生大量的数据，这些数据呢，会第一步先会上到云上。那么到了云上之后呢，我们需要对这些数据呢，做一些筛选啊，转换啊，一些检索啊，一些数据处理的一些操作。之后我们会对这些数据呢，做一些这种啊标注啊，啊跟高精地图相关的一些啊业务。那么有了这些数据之后啊，接下来我们通过这些数据来做汽车自动驾驶模型的一个训练。那么训练完之后，我们会把训练的模型啊，通过仿真啊，各种啊进行访问的一个迭代，那么迭代完成之后啊，整个模型会通过这种OTA的服务啊，对我们这个量产车。
04:08
啊，就是在路上跑的这个汽车，就是一种模型的各种迭代，所以说大家可以看到就是整个自动驾驶基本上啊分这样一些步骤。那么在这些场景里面啊，其实是需要大量的it的资源来支撑的啊。大家知道一定是包含大量的这个存储的产品，还有就是一些计算产品啊，不管是这种CPU还是GPU的。那么腾讯云针对于这种场景，其实我们推出了自己的解决方案啊，大家从这个图中可以看到，这是一个big picture。那么从左边看的话。我们的这个采集车的数据啊，通常是通过车展硬盘车载上跑的时候啊，这些数据都会先存到车载车载硬盘上去，那比如说每一天结束的时候，这个硬盘的数据啊，会想办法以最快的速度上云啊，其中一个办法是说。
05:05
我们在本地啊，客户的本地的数据中心，把这个硬盘呢，先上传到本地数据中心的一个存储设备。然后我们通过公有云的这个数据迁移服务，腾讯云叫SSP。这个服务呢，是可以啊，实时的把这些数据到云上来，或者呢是说这个硬盘也可以通过邮递的方式邮递给腾讯云，那么由我们的这个工作人员来帮忙，把这个数据上传到云上的对象存储里面。那么一旦车辆采集的原始数据上到腾讯云上之后啊，那么我们就可以在云上利用我们的计算啊平台啊。比如说容器啊，去跑一些我们大数据的一些业务啊，Em里面我们去跑一些Spark这样的啊计算流程，来把这些原始数据做一些清洗和转换，确保我这个数据的一些质量。
06:02
转换之后的数据呢，我们也仍然可以通过一些计算平台大数据做一些跟场景相关的一些提取啊，啊，我会做一些抽帧啊，或者是对这些数据做一些其他大数据相关的一些丰富的一些业务。那么就会得到我们将下一步就要做这种标注和训练的一个后的数据。有了这个数据之后，我们就接下来就会对它进行啊标注啊。大家知道，训练之前一定要嗯对这些图片进行一些标注，同时也可以用这些数据来构建一些高清地图。之后其实会到我们训练这一块啊，腾讯商。我们有GPU的这个，嗯，集群啊，黑石的机器，我们有态的机器学习平台，那么训练完之后啊，我们可以在云上啊，做一些软件带缓的仿真啊，腾讯也有相关的这仿真的平台。
07:03
啊，最后经过这种模拟仿真测评之后，我们可以通过OTA服务啊，把这些信号模型去进一步发放，所以大家可以看到啊，就是在整个自动驾驶的所有的环节里面，我们都有对应的解决方案，那么重点还是说围绕着数据啊去。啊，流转啊，那么我们存储数据的主要的产品就是腾讯云的对象存储啊，不管是采集后的啊，原始数据还是清洗后的数据，以及我们的标注的数据啊，都可以存到这对象存储上来，那么计算平台。总结一下，我们有容器啊，提供这种啊容器的调度服务，我们有大数据，我们有黑石，我们有机器学习的平台啊，所以这个是我们总体的一个解决方案大图。
08:02
那么接下来我会啊，针对于上面的各个环节，就稍微展开的去跟大家介绍一下啊。那么第一步呢，就是数据的采集和上传啊，我们这边主推两种方案，第一种就是说啊，车辆上的硬盘。我们还是采集完之后啊，先回到自己的数据中心。那么本地的数据中心，我们是推荐跟腾讯之间啊，有专线的连接，专线的其实我们在比较大的客户基本上都会到100GB这种级别，这样的话，因为每天啊产业车辆比较多。啊，基本上每天都会有几十甚至上百TB的数据需要上云啊，很快的上云啊，所以说专线是我们一个啊，比较快速上上的一个方式。这是方案一，如果说客户在某些呃情况下比较处于早期啊，或者说在某些城市没有很好的本地数据中心这种资源，那么也可以把产集车这个硬盘递到啊，腾讯云在全国范围内那个region的机房的接入点啊，因为大家知道腾讯在全国各个region的这分布非常广啊。
09:18
那么可以就近邮递到我们的region之后，由我们的工作人员进行数据的copy啊，也是可以通过这种方式来帮助客户数据上。那么数据上云之后呢，呃，通常来讲原始数据呢，都是一些比较大的一些文件啊，因为我们在服务客户的时候，很多客户都是采用这种业界标准的文件格式啊，像form或者是M这种文件格式，里面包含这数据，包括摄像头的视频数据啊，这个雷达的各种点阵数据。
10:00
啊，那这些数据呢，呃，通常来讲都是量非常大啊，有很大的这种文件。那么我们在清洗的时候呢，其实是需要这些大的文件能够很快的去加载到计算平台啊，所以说大家可以看到这里面有一个产品叫故事FS啊，其实它是一个呃，缓存的一个服务啊，后面我会讲到后面产品的时候，我会稍微展开一下，这里大家理解为一个缓存服务就好，那么要处理的原始数据我们是先加载到这个缓存服务里面来，这样的话在后面容器或者em去对这些视频啊。一些雷达数据做清洗和转换的时候，就会达到一个非常高的一个性能啊，而不仅仅是说从对象存储里去去直接去读啊，那么起到一个性能加速的一个作用，那么通常来讲，我们可以细胞Spark啊，对这个原始数据进行解码呀，这种质量完整性的检测啊，做一些清洗。
11:00
啊，同时我们也可以把这个呃原始数据里的一些video啊抓出来，然后把一些结构化的一些数据放到馈啊，或者是呃馈里面去，然后同时我们也会根据业务的需求做一些啊抽帧的一些操作。那么接下来我们也可以用容器Spark去做一些其他方面一些原数据的操作啊。啊，包括一些场景的一些检测提取这个像这个车的这个速度啊，转向角度啊，信号灯啊，行人啊，我可以把原始数据里面，根据场景的要求啊，对这些原始的图片做各种各样的依据场景来分类，同时把这些分类场景的一些原数据呢，可以放到设置啊里边，便于后面。依据场景的一些原数据啊，找到这些。抽帧后的一些数据，其实这个目的也是为了后续啊，根据这些场景来找到文件之后进行一些标注和训练。
12:04
那么到标注这个环节呢，其实我们的一些输入啊，刚才提到了就是说啊，与场景相关的抽帧的一些图片啊，我们同时有这些场景的原数据。那么我们有了这些数据之后啊，其实我可以在容器里面去啊，做这种自动化的一些标注啊，因为很多客户呢，我们都可以通过一些自动化标注的一些工具和模型来加速这个标书标注的一个效率，这些标注的工具呢，其实腾讯云也是啊提供的啊，当然客户也可以根据自己标注的一个。啊，积累啊，可以自己根据汽车行业的一些场景训练一些，呃，可以非常高效的智能标书的一些模型啊，来提高这种标注的一些效率。那么标注好的数据集其实也是放到对应存储里面去，包括图片信息啊，一些标注信息。啊，同时我们也可以啊，从这个里面去抽取一些跟地图相关的一些数据，来完善我们高精地图的一个数据集。
13:10
所以这个里面大家可以看到也是我们容器，那么这些啊抽帧后的数据也是可以加载到这个故缓存里面去，来加我们的这个动标注的一个流程。那么接下来我们会到模型训练这个环节。那么模型训练呢，相对要简单一些啊，核心点就是说我们要利用GPU集群，所以说腾讯上有黑的服务器啊。我们提供这个一些相关的这个啊。这个GPU的资源啊，来做训练。那么我们看这个啊，模拟仿真和验证啊。呃，训练完之后，其实我们整个模型是需要做一些软件或者是硬件环的一些啊测试。
14:05
那么。呃，软件债还呢，基本上也是用云上的这个GPU资源来跑，那么场景数据也是放到对象存储里面去，我们通过固筛方式也可以做这种加加这种软件的测试的效率。呃，硬件贷款通常基本上在客户的本地数据中心啊。那么客户可能自身有一些的一些工具。啊，同时有呃，可以在本地数据中心啊，真实的这个车上的一些芯片，一些传感器啊，有这样的硬件环境。那么大家可以看到，在本地数据中心呢，呃，我们也提供这样一个存储设备啊，因为很多硬件在环的测试是依赖于这种材的真实数据的。所以说在本地的话，对啊，这个训练效率和性能有很高的要求，我们也是一样的，用CS可以把这些的数据做一个缓存，这样来提高呃，硬件债还练的一个效率。
15:08
同时我们腾讯云在本地的数据中心啊，也提供对应的这种对象存储，大家可以看到，如果在有专线的情况下，本地数据中心的存储啊，跟腾讯腾讯云的公的存储之间也是有这种自动打通的功能。这样的话就确保呃，云上云下的这个数据可以去平滑的一个流动。OK，我们再看一下就是啊，刚才前面讲的更多的是啊，这个自动驾驶训练这一块啊，那么我们再看一下腾讯云车联网方面的一些解决方案。那么随着这个客户的量产车啊。啊，逐逐步的这个发布和上市，其实我们在路上跑的一些量产车啊，有很多数据。
16:03
呃，需要能够实时的啊上云。啊，然后来提供一些实时的，还有一些离线的一些数据分析的这种需求。那么从腾讯这边来讲，我们提供了这个整个方案，分几个环节啊，首先还是数据接入这一块。那么。数据接入呢，其实我们可以基于腾讯的就卡夫卡的服务啊，卡夫卡啊，其实它是一个弹性啊扩展的一个服务，可以承接这个啊上百万啊这种甚至更多的这种啊，车载的终端数据的一个上传。那么上传的数据之后呢，其实我们也可以跑em或者一些这种实的服，把这些数呢啊，一个是要原始的上传的数据要通过对象存储来储存起来，另外呢，我们flink处理完后的数据，我们可以到下一个环节啊，就是对这些数据进行一个数据的一个解码。
17:08
啊，其实这里面也包含了一些，呃，数据质量的一些检测和一些转换。那么解码和转换后的数据呢？仍然是放到对应存储里面去。啊，这个数据也会通过flink实时的传给下一个数据转换这个环节，这个里面呢，实际上会跟业务相关的一些处理都在这个里面做啊。那么转换完之后啊，我们会把很多啊，跟这个车相关的一些状态数据啊，场景数据，通常会建议放到这个实时书里面像啊。或者是腾讯的DLC。那么比如说啊，这里面有很多车辆的信息的数据。啊，包括车辆的各种各样的状态，自动驾驶的一些状态。那么这些数据呢？可以通过API实时到客户机，其类似的终端便于客通的服务，能够实时查看自己车辆的一个状态。
18:09
这是实时在线的部分。那么离线部分呢，嗯，其实我们很多数据啊，是需要做一些离线分析的，比如说某些车辆在某些情况下。啊，我们的自动驾驶模型啊，处理的不是很准。需要乘客去接管，或者是某些特殊的紧急情况，我们需要做一些追溯溯源啊，其实这些数据呢，都是需要我们做一些离线的处理。这些离线的数据。提也可以通过故事F数据也可以用来更新我们这个整个地图。所以对于量产车来讲，就是网VC，腾讯是提供了一个端的一个解决方案。
19:10
呃，另外一块呢，实际就是跟这个高精地图相关，大家知道就是自动驾驶呢啊，除了这个自动驾驶模型之外啊，高低地图起到了非常非常关键的一个作用，特别是在某些情况下啊，由于天气的原因。啊，一些这个传感器的一些原因。通常来讲，要结合高精地图啊，来做这种自动驾驶planning。那么。腾讯云其实提供了这种啊，高级地图端到端的解决方案啊，通常来讲合规的原因啊，我们是要把整个这个高度方案啊，部署在客户的这个有里面。啊，腾讯的产品叫TCE啊。提供啊整体的各个层的产品，包括存储层，中间层啊，业务层。
20:06
啊，包括我们整个的这个硬件啊，相关的软件pass。都提供端高端的这种服务。那么。同同样呢，我们的一些车辆啊，也通过这个VC啊，把一些相关数据通过有啊，通过专线也可以返回到我们这个有云里面来跟我们这个高新地图的。方案做对接。所以这个是腾讯云高精地图的一个解决方案。以前我花了时间啊，大讯原，下面我再稍微展开的讲一下，在这个方案当中涉及到一些存储产品的一个介绍。啊，首先呢，就是啊，大家应该比较熟悉啊，对象存储。
21:03
那么那大家都知道啊，就是现在我们在说数据，再说昌，其实在大数据场景，我们海量的数据如何去存，我们需要一个高可靠，高可用。可以达到E级的这种扩展能力的一个存储。同时我们还有很低的成本，另外我们对后面数据处理的性能有一定要求，安全性啊，以及这个储产品跟云上的其他基产品要一个很好的生态，所以呢，这个其实在业界已经达成共识啊，大家都是用对象存储来做数据的统一的一个存储。那么除了刚才提到啊，对象存储的这些特点之外，我们一定要啊在性能上啊，有一定的这个优势，所以说为了解决这种性能啊的优势呢，我们这边提出了一个叫三层加速的这样一个产品的一个能力啊，从这个图中大家可以看到。
22:07
啊，我们的第一层啊，就是离计算最近的一层，我们计算端加速实际上是一个缓存的一个加速。那这个产品呢，它是一个纯软件啊，它部署在啊这个计算节点啊，它会利用计算节点本地的一些资源，包括内存呀，本地的SD啊，做一些缓存加速这个分布式的缓存系统。那么第二层我们叫AJ端的加速。啊，因为大家知道对象存储是完全region，没有A的这种概念，那有的时候我的计算资源跟我的数据不见得在同一个az。那么在这种情况下，我们从对象存储去第一次加载数据，在没有缓存之前加载数据的时候可能会有一个时延和吞吐上一个限制，那么在这种情况下呢，我们可以在对应的一个这个az使用这个数据加速器这个产品。
23:05
也就是说，我会保证最热的数据。一定是跟我的计算节点在同一个region啊，解决掉刚才跨region啊这个的问题啊，还有一个跨region的带宽的问题，所以启用了这个数据加速器之后，其实我们可以提供这种。啊，TB级别的带宽毫秒级的这种实验。那最底层呢啊，我们提供了一个加速叫原数据，原数据的这个加速器啊，因为大家知道对象存储在。某些场景下，特别是这种啊，大数据的场景。比如说我们在去跑Spark或者是em Mr map reduce的时候，会有一些啊，还有一些list的操作啊，坦白讲这些操作呢，对对象存储不是特别的友好，像name的话，我们就是做这种copy delete，当我们的文件数量比较大，数据比较多的时候，这个性能没有那么好。
24:03
包括一些例子也是一样的，就是由于它对象存储跟文件存储的一个天然的区别，它没有一个特别集中的原数据的一个服务啊，导致这种list的性能不是那么高，那么针对于这种问题呢，其实我们做了一个叫原数据加速器这样一个产品啊，就针对这种rename list的做了一个优化啊，使它能够达到完全跟文件系统级别一样的这种性能。所以大家。可以看一下啊，就是我们通过这三级加速分别解决了不同层面的一个问题，通过计算加速啊，我可以保证数据可以在这个计算节点就能命中缓存，提高效率。通过这个数据加速呢，解决这个数据访问的问题，通过数据加速器呢，来解决这种数据操作的问题，结合这三种加速方案啊，其实我们在大数据场景，AI场景，基于对象存储区数据啊，其实我们是提高了把这个性能啊做的就是提高了非常多。
25:10
那么呃，这里面提到的就是缓存加速呢，我们就是这个产品要故事FS啊，这个产品稍微展开一下，嗯，首先呢，就是协议啊，就是这个。啊南呃北向啊，北向接口也非常丰富啊，我们针对大数据呢，我们是EDFS的接口，像AI啊，Hpc啊，我们会提供这种啊的这种接口。那么本身我们也是支持一些的一些API啊，如果大家的一些有开发能力，可以通过这个API来读写这个数据，同时它也支持这个S3兼容，可以通过S3的接口来访问，那么在啊这个监控啊，运维方面呢啊，我们有监控告警啊，有健全啊，还有日志管理啊，其实这些呢，都是跟腾讯的公有云啊，这些服务都做了打通。
26:09
就方便大家去做这种运维。那么在呃，缓存方面呢，其实我们啊，有各种各样的缓存策略啊，能够高效的去缓存数据，同时呢，我们整个的这个框架是个高可用的一个架构。啊，我不管我们的这个master master是我们这数据的服务，是的部署方式，我们也是分布式的多个节点啊来啊，这个分布式的去缓存我们这些数据。那么在于呃，南向的话呢，其实我们支持主流的是两种存储，因为刚才提到了我们这个固排只是一个缓存，就是这个缓存呢，可以在任何时间去把它，也就说它不存数据的，真正的数据落盘是放到我们这个对象存储云，或者是说我们线下线下。
27:01
腾讯的产品要提取到一体机这个部署在客户的ID内部，也就是说S既可以在公有云上对对存储加，也可以部署在客户的数据中心啊，对于线下的这个梯子道存储做加速。呃，那么这一页呢，就是啊，我们把整个的部署形态和这个预热缓存的方式来给大家介绍一下啊，提到了我们的这个是ha部的啊，通常我们建议三个master啊，一个IQ2个，那master发生问题的时候，其实我们可以很快的就切切换到三啊，这样的话对于业务而言是完全透明的，那么数据缓存呢，呃，我们。支持内存啊，M me的SD盘或者盘，其实这些都是利用到计算节点本地的一些资源。
28:00
那么我们这些数据呢，如果说在对象存储上的话呢，其实我们有两种方式去缓存，一种是说我们支持预热啊，我们可以通过一个命令行把这些数据啊预热到缓存系统里面去，就是说在你真正去读它之前，我们就做好预热啊，本身桥我们针对S呢做了很多的优化，我们这是一种叫分布式。病情预热的一个功能，也就是说多个节点可以同时去对象存储这边拉数据，保证这个可以在最短的时间内。可以把这个数据加载到缓存里面去啊，我们也支持这种啊，被动这种预热，也就是说当我们的业务去访问，通过故事发访问文件的时候，如果这个文件没有被缓存，那它会透明自动的这种靠这端去加载数据啊，对业务而言是透明的啊，只不过呢，这种第一次的。去读，如果没有预热啊，它的性能要比真正命中啊要差一些啊，因为毕竟要从靠试去读出去啊，这是数据的缓存，那么淘汰呢？啊，其实我们也支持多种淘汰策略，就是按时间的去淘汰，或者是你指定有固定的GT。
29:18
所以这个是呃，我们固的一个预热和。缓存的一个，淘汰的一个一个功能之上。OK，我们来看一下这个啊，对象存储啊，啊，这个大家可能非常了解，我就不不做这个过多的介绍啊，主要是体现在可靠性啊，可用性啊，成本啊。啊，这几个方面啊，这个前面也讲过，就为什么选择cos作为数据的统一存储啊，兼顾到这几个方面。呃，另外一个叫呃，产品我可能要稍微多说一下，就是我们的。
30:02
啊，因为这个产品啊，可能大家不是特别的熟悉啊，推出这个产品的原因呢，也是说啊，在自动驾驶啊，这个行业，当然也包括一些其他的行业啊，其实还是希望这种混合啊，也就是说希望客户的IDC也具备这种对象存储的能力啊，之前我在讲数据上云的时候也提到了，很大一部分客户和场景都是车辆上的硬盘。啊，先在本地的数据中心放到对象存储上，存储一个之后，然后再从本地的这个存储拿到云上，那所以呢，在本地数据中心我们推荐的对象存储就是。那么这个产品呢，它用的架构跟腾讯云的公cos是完全一样的，也就是说我们把公有云啊cos。私有化的这种部署。
31:00
那么公有云上具备的这些能力。啊，在这个线下的cos里都是完全具备的。包括我们支持各种各样的存储的T啊，标准啊，地频啊，归档啊，以及各种AC的一些功能。啊，包括这个啊，相关的接口SDK啊，工具啊，完全都是一样的，那么这样做的一个好处呢，就是说啊，用户只需要用一套API。就可以同时管理云上和云下啊，所有的功能都是相通的。那么这个产品呢，强调一下是完全可以线下部署啊。那么除了刚才提到的线下的对象存储之外啊，其实我们很多客户呃，在线下呢，也是呃有自己的GPU集群啊，有一部分的业务呢，还是在本地的IDC去做一些训练，那除了对象存储之外，它还是需要一个高性能的文件系统，所以呢，腾讯的另外一款产品叫TS x2000 TS x2000啊，这是一个啊分布式的文件系统啊，一个一体机啊，包括对应的啊硬件还有一些软件。
32:21
那么它是完全的并行文件系统啊，提供politics的这种协议。那么同时呢啊，也提供IFS啊，包括对象啊，各种协议支持，那它的一个特点呢，就是完全是线性的数据的这种。啊，吞吐的这种能力完全根据我们的规模，节点的数量啊，还有就是每个节点的这个网络带宽，磁盘的数量类型完全相关，也就是说当我们线下需要一个高性能的这种存储的话，我们就可以通过提到2000来满足。
33:04
那个诉求。啊，那么啊，从规格上来讲啊，我们最大集群可以支持9200。嗯，9620个节点啊。那可能通常来讲客户规模没那么大啊，有几十个，最小是三个节点啊，我们到几十个节点都是OK的。那么呃，成成本上来说呢，我们也可以支持这种盘的，就是每个节点里面我们可以配一些。啊，配合一些沙大的盘来达到一个这个成本的这个优化数据呢，其实可以基于策略来分成热的数据放到m me上，那些冷的数据呢，放到T上。成本的一个优化啊，所以说这个产品也是可以部署在客户的本地的。同时呢，这个啊T差2000呢，它也可以对接我们啊公有云存储啊，也就是说我们推荐的方案呢，嗯，可能线下呢，放一个小规模的差2000啊，规模不见得那么大，那么公有云的对象存储呢，作为它的后端。
34:18
当我们的数据。上到这个X2000上之后啊，这个我们的X2000就可以自动的把一些相对冷的一些数据，通过专线就可以归档到腾讯的cos。啊，这也是这个产品的另外一个特性。OK，那最后呢，我们再看一下啊，自动驾驶的一个客户的一个案例啊。呃，这个是我们最近啊服务的一个客户啊，啊，那么在今年的时候呢，啊，实际上客户在自己的本地中啊，是一动驾一个平台，包括。
35:06
FS的一些文件储啊，也是了一些K8S的一些平台，跑一些容啊，然后在业务层的话些flow啊的一套大数据。呃，基本上都是支建，那么在今年早些时候啊，其实客户也遇到了一很大的一个问题就是呃，随着业务快速的增长啊，本地数据中心的一些资源出现一些瓶颈，同时自身的一些运维能力啊，呃，一些存储啊，计算啊都会出现一些瓶颈，那么在今年年初的时候，其实很多业务呢，就迁到了腾讯云上啊，那在云上基本上是托管的服务，对吧，不管S层的这个对象存储黑石GPU啊，云联网的网络相关，那么在pass层也是用到我们的容器，Em数据相关的一些产品啊，排加速啊，那么。
36:05
在业务层呢，也是一样的，这个啊，相关的一些AI大数据的一些业务，那除了自动驾驶之外呢，其实我们有些高清地图仿真的些业务也都可以跑的运营上。那么我们在给客户的一个数据上云的方案里面，就是S，呃，这个服务其实也是一个分布式的啊，一个服务啊，我们可以通过多个节点同时来做这种数据上云的拉取。啊，刚才提到了，像这个行业里面每天产生数据量比较多啊，那么我们可以通过多个agent，每天可以上传几百TB甚至PB的这种量级的数据啊，前提是说我们的网络带宽宽线下的存储性能足够好。
37:01
那么在这个客户里面，我们就是云上部署这种S的服务，帮助客户的上云。那么上了之后呢，呃，我们可以看到啊，就是客户在云上基本上是把训练数据的一些前期的这些数据啊的一些业务。啊，还有后期的训练的这个平台都放到云上。嗯。这个里面啊，大家可以看到一些啊，原始的这个视频数据啊，一些图片啊，一些日志啊，都是对象存储里面，那么故事FS作为缓存加速故事FS呢。包括图片的清洗啊，标注啊，都是通过容器来做，那么标注好的数据啊，放到对应里面来，我们是用。
38:07
这个黑石的集群来做缓存，因为腾讯的黑石每一台都是有一定数量的N的SD的。嗯。每一台会有几个TB到几十TB不等啊，如果说客户用十台的话，其实就搭建一个几十TB甚至上百TB的一个缓存，那通常来讲这么大一个缓存规模基本上。可以满足大部分的这种AI训练的这种需这种需求。那么训练呢，也是黑GP，基本推荐的是A1这G。啊，所以这是呃，这个客户啊，基于公有云的一套自动驾驶的一个一个方案。
39:05
OK啊。我大概花了40分钟的时间啊。把我们的整个的自动驾驶行业的一些产品啊，一些方案，包括其中里面涉及到啊存储的相关的一些产品，公云的cos啊，我们的固采排加速啊，我们线下的这个T10道的一体机，Cos一体机啊，差2000的这种文件存储的这种一体机。啊，以及我们上云的这个S的一些服务做了一些介绍啊，最后我也给大家展示了一个这个科力，呃，看看大家有什么问题啊。回答一下，嗯，好的，那非常感谢王老师的分享，然后这边的话，今天分享是。很精彩的，因为我看评论区的话，这边有好多对我们就是产品的肯定，以及对我们讲师的肯定，然后这边呢，王老师从整个行业趋势以及腾讯云延伸的解决方案的介绍，还有自动驾驶的数据，自动驾驶的数据是怎样通过数据来存储处理跟加载的，然后最后通过客户案例进进行了进一步的介绍，总的来说的话，听了这场直播收获分，然后这边呢，我看就是我们评论区的问题还是蛮多的，然后这边王老师抽取三个做回答，然后抽中的同学是有奖品的。
40:29
嗯，OK，我看到了啊，我看一下，嗯，我先回答第一个问题啊，就是呃故事FS跟其他方案比有哪些优势啊，嗯，我觉得这个问题问的非常好啊，嗯，是这样，因为啊从客户呃角度来讲，我是希望我的业务能够呃有很好的性价比啊，在提升性能的情况下啊，我一定是希望我的这个存储和计算成本比较低，所以说故事ipad首先它是一个纯软件啊，我们这个软件啊目前是免费的啊，它是完全以软件的形式部署在这个呃GPU集群里面，也就是说你只需要占你的计算节点，加一些简单的ASD。
41:18
啊，就具备了这样缓存的能力啊，你不不需要单独再购买另外一套高性能的文件存储集群啊，啊这是第一，第二呢，是说通过故SPA有的这个呃，很好的性能之后，你是可以把你的海量的数据啊存储的cos数据弧里面的啊，你并不需要说OK，有几十个PB的数据还要存到这个很昂贵，相对比较昂贵的一些文件存储里面啊。那么在cos上对象存储里面，你可以通过生命周期管理啊，定期的把一些数据做一些这种归档沉降，进一步降低这个存储成本。啊，所以简单讲就说故事F既能够提高性能，同时又能够降低我们存储这个成本，所以这是故事F跟其他方比优势。
42:12
OK，这是第一个问题。呃，第二个问题啊。我看到客户在问啊，就是硬盘的物流运输往返啊，也是腾讯负责吗？还是客户自己邮递啊，我觉得这个问题也非常好，就是我们在跟很多客户在聊的时候，其实客户都比较关注这个数据如何上云，之前提到的IDC的方式啊就OK，如果说真的要硬盘直接上的话呢，我们有两种方式啊，一种是说客户自己选定这个物流。嗯，然后呢，这个物流可以把这个硬盘邮递到腾讯云这边来，也可以，就是采用腾讯云的这个物流的服务，两个都是OK的，嗯，我们更其实这个在于客户选啊，就是客户如果自己有就可以用自己的用也是OK，所以这个都是没有问题。
43:11
OK，这是第二个问题。好的，再看一下第三个问题。等一下。呃，用这个不会需要定制硬件设施吧，OK，对这个问题啊，啊也非常好，就是说呃，首先呃，我们的这个数据的方案啊，是不需要有任何定制硬件的啊，我们提到了就是它是一个纯软件不。不管是AI里面啊，我们用石啊这种的，还是说我们大数据场景里面用腾讯云的虚完全都是OK的啊，因为呃有一个要求，就说我们现在是只持Linux系统，其其实是对这个操作系统有一定要求，要是通用的Linux都是OK的。
44:13
呃，但是另外呢，其实我们有一些机型的推荐啊。啊，就是提到了，我们更希望是说在大数据AI场景里面数据比较多啊，我们是建议这些机型都会具备一些本地nv me的SD啊，比如说腾讯的I5的机型啊，每个机型。具备一块到两块3.75TB的这种MD，或者是黑石啊，黑石本身就具备MD，那么这样的话呢，我们数据缓存在上面的性能会非常好啊，所以我们没有定制要求，有些推荐。OK啊，我选了这三个问题。
45:01
好的，那感谢王老师的就是问题回答，然后这边的话，刚刚就是问抽中问题的小伙伴，您回您将您的问题截图以及收货地址回复在我们腾讯云存储公众号下面，我们在一周之内会将奖品寄到您的手中，然后接下来呢，我这边公布一下我们就这一期直播的信用关注。然后。是有三个，然后是用户2782016，用户5785637，用户8757056，然后这边的话也是需要你们将你的那个就是评论截图。评论截图以及您的收货地址回附在我们腾讯云存储的公众号下面，我们我们将会在一周之内将那个奖品寄到您的手中，然后接下来这一页呢，就是我们腾讯云存储的公众号，如果还没有关注的小伙伴可以扫码关注一下，或者是您可以通过就是搜索腾讯云存储，也可以搜索到我们的公众号去关注，然后下一期的数据专题直播的直播内容是那个。
46:12
数据方案库，FS的落地，教育行业的案例分享，然后这边的话也是在周四晚19点，然后到时候我们在云家社区直播间不见不散，好的，今天的直播我们到此结束，谢谢大家。

展开

我来说两句

0 条评论

登录后参与评论

作者

sunnyzhai

雁栖学堂-湖存储专题直播第九期原创

我来说两句

作者

相关推荐

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐