400 050 6600
数据分析师

手机号

验证码

30天自动登录
当前位置:首页 - Q&A问答

Q&AQ&A问答

计算存储以新颖的方式重振存储

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-05-11

计算存储是一种IT架构其中在存储设备级别处理数据以减少必须在存储和计算平面之间移动的数据量

因此该技术提供了一种更快,更有效的方式来解决我们数据繁重的世界所面临的独特挑战-通过减少数据移动并允许多达2040个分析响应来满足减少的多余带宽并提供非常低的延迟响应时间,得益于NVMeNVMe Over Fabrics辅助的新闪存技术,该技术变得越来越快,但还不够快为什么?因为当今的数据中心(包括大规模超大规模数据中心)主要依赖于使用Von Neumann体系结构的基本方法构建的传统服务器硬件,Von Neumann体系结构是适用于几乎所有通用服务器的70年历史的计算机体系结构,坦率地说,从未经历过正确的尝试变化。

 

新方法之前并没有取得太大的成功

现在我们有了诸如AIML之类的应用程序,这些应用程序需要大量的原始数据(结构化和非结构化),这些数据需要高计算能力来学习,因此计算能力已成为瓶颈。在传统的横向扩展模型中,此问题通过添加节点来解决,从而获得更多的分布式计算能力和更多的内存,添加服务器节点的成本很高,添加更多节点还增加了互连的长度,从而增加了数据移动和分析所需的时间。

 

进入计算存储-一种技术

该技术可以将传感器(例如自动驾驶汽车,视频监控摄像头,交通信号灯)中的原始信息巧妙地组织为有意义的数据,因为缺乏移动性可以促进  实时数据分析,从而通过减少输入来提高性能  /输出瓶颈。随着人工智能,机器学习,物联网工作负载涌现出惊人的数据量,到2025年,数据总量将超过163 ZB,其中95%是由物联网设备生成的,这是真正的技术缺少链接。

 

近对300多位计算机存储专业人员进行的一项调查揭示了这一挑战-表明瓶颈可能发生在10 TB以下

这样计算存储可以提供更强大的处理能力来辅助每个主机CPU,从而使组织可以提取其可以生成的所有数据,并仅提供真正需要的数据,从而使管道尽可能保持开放。这样一来,就可以收集更多分析所需的原始数据,并为组织提供了仅从该数据中提取实现价值所需的自由。在比较中,当组织必须处理整个数据集时,就会延误增值。结果。这种方法可程度地提高效率,减少功耗并降低运营成本这个排序。

 

计算存储的正式定义只用了一年的时间就完成了

这是一个相当快速的过程,这证明了对如此根本不同的计算机存储技术的迫切需求。一年多以前旨在探讨如何定义和设置有关计算存储技术的标准,经过几个月的会议和一些辩论,他们现在制定了正式定义:

1“…计算存储体系结构可通过集成计算资源(直接与存储,存储附近或主机与存储之间)集成来提高应用程序性能和/或基础架构效率。这些计算资源不在传统的计算和内存体系结构之外。

2、这些体系结构的目标是:启用并行计算;减少I / O流量;和/或减轻对现有计算,内存,存储和I / O的其他限制。

 

受益于计算存储的行业

当将计算存储应用于多个用例时,将变得更易于理解和欣赏。要求计算存储技术强大和高效的行业示例是新型“智能”汽车和即将推出的全自动驾驶汽车,这些汽车必须处理数据负载以进行分析,否则可能会影响驾驶员的安全性。 。一些设计CS架构的公司已经能够提供利用小型化技术的技术,该技术可以与SSD一起使用来处理数据负载。这在空间受限的边缘相关(例如汽车)中效果很好。但是,尽管外形尺寸很大,CS解决方案仍可以将功能提高20倍甚至更多,并且使支持AI的系统能够以的方式读取,分析数据。

 

在数以千计的物理服务器和数百万个虚拟机的规模上运行的超大规模数据中心必须并行执行各种工作负载

这些超大规模数据中心开始使用计算存储驱动器来处理PB的数据,同时也实现了体积小,功耗低但仍具有巨大计算能力的更小尺寸的优点。这样,纤巧但强大的CSD可以帮助提高超大规模架构的计算能力,这些超大规模架构将机器用于人工智能(AI)和机器学习(ML)应用程序,而这些应用程序通常需要诸如实时,复杂和并行索引的操作和模式匹配。

 

例如出于欺诈检测目的而需要实时分析大量数据以获取销售点数据的零售企业,也可能会受益于CS更快的响应时间

“这些应用程序必须在执行分析请求之前扫描大量数据,以识别与查询相关的信息子集。将大量数据移出存储系统,跨网络并移入主主机内存会导致时间和延迟损失,这是实时分析应用程序无法承受的。

 

内容交付网络(CDN)是利用CS技术的另一个市场

在这里该技术可以帮助进行加密/数字版权管理(用于验证用户可以访问内容)。在这种情况下,CS通过安全地解锁内容而不共享密钥来提供更好的数据管理。这种将每个服务器机架的密钥匹配提高40倍的能力仅仅是这项工作的开始。

 

在当今数据密集型世界中,减少数据移动至关重要

数据移动不仅花费时间,还花费金钱,资源和有时浪费的分析资源。现在是时候进行存储的下一步,并实现NVMe计算存储驱动器。按照数据的步骤进行操作,注意在驱动器内部完成多少工作将节省数据移动时间-提高效率并减少主机CPU和内存负载。

 

做数据分析不单只是看看数字

https://www.chinacpda.com/jishu/20946.html

 

数据分析都做不好,怎么好意思谈了解客户?

https://www.chinacpda.com/jishu/20944.html

 

有一种爱为:大数据+小推动=福利之爱

https://www.chinacpda.com/zixun/18227.html

 

更简单直接的了解下数据科学家

https://www.chinacpda.com/wenti/20809.html

 

查找您周边省份授权培训中心:

https://www.chinacpda.com/train/

 

2020CPDA数据分析师线上报名:

https://www.chinacpda.com/baoming.php

 

数据分析师的职业规划:

https://www.chinacpda.com/career/

 

CPDA数据分析师考核时间:

https://www.chinacpda.com/examine/

 

免费客服热线:400-050-6600

商业联合会数据分析专业委员会

Prev article

大数据分析学习中机器学习的数据转换

Next article

数据科学家的作用是高需求但是填补这份工作需要什么呢?

数据分析师

报名咨询

数据分析师

报名缴费

数据分析师

客服中心

数据分析师

课程服务

数据分析师

认证服务