数据存储正面临四大挑战要满足哪三个主要特征
时间:
2022-07-06 22:56:32

  等新技术推动包括工业、农业、服务业等许多行业、产业进行大规模的数字化变革,逐渐形成以数据+智能为的新型业务,推动服务化延伸、网络化协同、智能化生产和个性化定制等新的变化。

  日前,华为智能数据与存储领域副总裁张福鹏在#∑co时间#活动中分享了题为“站在未来看现在:智能时代数据存储产业谈”的演讲,带大家走进了精彩的存储未来世界。

  据张福鹏介绍,随着5G带来的大带宽、低时延,对数据处理速度、频度、可靠性提出了新的要求;以金融交易为例,我们每天用到的微信、支付宝等小额支付,使得交易量增长10倍以上,而且在线购物也不再受门店营业时间的限制,必须做到7x24小时不间断服务。这些都对数据交易的时延、可靠性等提出了前所未有的挑战。

  类似今日头条每天50PB的数据,绝大多数都是非结构化数据。窄带和宽带物联网、4K/8K视频自动驾驶等多数据源、多模数据的大量采集、长期保存、冷数据变温数据等带来了新的海量数据存储需求。

  数据要长期保存,更要无缝流动才能产生更多的价值。从实际业务来看,在距离数据产生最近的边缘场景,比如摄像头,IoT传感器等,数据如何存储和高速处理,如何提供边、中心、云的统一数据保护和管理,既可以让数据高速流动,又能做到每比特成本最优,价值最大,也是我们企业全场景业务面临的新挑战。

  数据全生命周期管理,从数据产生的源头,实现边云协同叠加AI的能力。业务希望能充分利用云上数据量大的优势形成基线,同时在本地增量训练。结合具体业务提供个性化调优,实现对数据生产、分析、备份、归档的全生命周期的智能化管理。这也是颠覆传统IT架构,从数据视角打破边界,构建数据基础设施的一个重要理念。

  智能时代,存储应该具有哪些特征才能更好的应对新技术、新业务带来的新挑战呢?张福鹏表示,智能时代数据存储要满足三个主要特征,即智能、融合、高效。

  智能时代的数据存储要充分利用AI的能力实现Storage for AI和AI in Storage,进而承载数据全生命周期智能管理。

  华为OceanStor在边缘存储端加入了AI芯片,实现个性化AI,存储自身基于AI芯片对存储数据进行深度学习,实现存储设备的独特性能优化。

  同时将边缘存储的数据采集上传云端,数据在云端经过训练和建模后,形成通用模型发布给边缘存储,存储AI芯片再基于通用模型进行强化学习,与自身数据特征结合,培训建模形成个性化模型,再来指导存储实现场景预测、故障推理。整体形成一个端云协同AI芯片加速的自驱动。

  为了应对万物互联智能时代数据存储的易管理、易运维需求,华为还提供了基于AI使能的自动化数据管理系统,帮助用户实现数据自动化与智能管理与运维。而在全生命周期数据管理方面,华为则将存储系统的智能管理分为三层,即设备层、数据中心层、和云上云下,通过三层联动,实现高效的运维运营。

  除了智能化管理,面向多模数据、多级介质、边、中心、云物理位置、多种协议带来的数据孤岛,融合是华为持续追求的。

  智能时代存储如何打通数据孤岛,实现从端到云的融合互通能力,华为认为有几个地方需要重点考虑:异构融合、多服务融合、分级归档融合、生产分析融合、端-云融合。

  当然,面向实际的业务场景,还需要考虑包括数据库与存储融合、万核级调度等,这些都是华为持续要构建的存储能力,让数据存得下、流得动、用得好。

  智能时代存储三大特征,除了智能、融合这两个非常重要的特征之外,面向实际业务需求,还需要高效的数据存储与管理。这里面可分解为极致可靠、极致容量和极致性能三个方面来分析。

  在高可靠性领域,不仅仅是在架构层面,在组件(硬盘)、系统(RAID)、解决方案(双活)层面同时要有大量的创新。

  硬盘的可靠性是存储系统的基础,华为在盘级可靠性上做了大量的研究,并把结果应用到华为自研的SSD上,比如擦写次数是SSD盘片寿命的主要因素,华为在硬盘上采用了SSD全局磨损均衡&全局反磨损均衡的专利技术,来提升SSD寿命。

  在架构可靠方面,智能时代存储架构也需要考虑通过前端共享互联、控制器全互联、后端共享互联,真正意义上实现:全局互联、全局负载均衡,做到更可靠更均衡。而目前华为存储的架构可靠性已经领先于业界同类产品。

  在系统可靠方面,随着趋势的发展,大盘时代来临,硬件+算法才能构筑系统级的高可靠能力。华为RAID-TP通过创新的数据校验算法,可以实现系统内3个盘同时失效,业务不受影响。

  在方案可靠方面,要实现免网关双活的极致可靠,站点间要求实现负载均衡,RPO=0 & RTO≈0。此外,专属硬件设备可以做到存储互通,在3DC更高级别可靠性上可以实现灵活组网,同时降低容灾系统建设成本。

  在云级可靠方面,在生产中心方案级可靠的基础上,通过存储系统的容灾特性,如秒级快照、备份、统一管理等,实现灾备中心,以及云上中心的融合数据管理,做到中心间分钟级的可靠性,和云上云下小时级的灾备与恢复。

  面对海量数据爆炸式增长,新业务对数据存储和管理不但要求持久化、数据不丢失,更要考虑极致的容量和性价比。

  面向全闪存的时代,存储具备了智能芯片,弹性EC算法提出了EC聚合方案,多个数据块可以在一个EC分条上进行聚合,以获得性能和EC利用率的双重保证。通过弹性EC技术,可以将EC比例提升到22+2,磁盘利用率达到91.6%,并且,在相同的硬件条件下,其性能可与传统三副本性能持平,让存储利用率和可靠性提升有商用价值,支撑企业在云时代转型走得更远。

  在计算存储分离方面,华为提供基于原生HDFS协议的分布式存储,不但简化了大数据海量数据存储的配置和管理,同时可以使能计算与存储按需扩容,实现价值最大化。

  华为认为,对于智能时代的存储,要充分利用芯片+算法+架构来全面提升性能、降低延时,为业务带来新的价值。

  为了实现端到端关键路径加速,从传、算、智、管、存上引入关键芯片。同时在算法方面,华为存储以创新的Flashlink盘控配合算法,能够实现控制器、硬盘框和SSD盘的联动。

  而为了支持数据中心的网络存储,华为通过NVMeover Fabric可以实现NVMe标准在多种网络上的扩展,达到降低存储网络协议栈处理开销并提供高并发低延时应用,适应SSD介质驱动的存储架构演进。

  同时,为了在前端数据传输阶段,加速NVMe协议传输效率,华为存储还设计了新的DTOE智能网卡。上一代使用的TOE网卡,只是较传统网卡,实现了部分数据传输卸载处理,依然存在内核中断产生的高延迟开销。

  华为OceanStor面向智能时代存储打造了基于“智能+硬件+算法”的创新架构,基于Memory Fabric打造以内存/SCM为中心的极致性能层,基于ALL IP的全闪存极致成本和高性能的容量层,提供数据存储的智能分层管理。

  同时面向CPU/ NPU/GPU基于创新算法和高速互联协议提供万核级计算资源池化,智能调度;面向业务提供基于容器的异构微服务化,打破内存性能墙、算力墙、协议墙等边界;

  还基于数据全生命周期的智能管理系统,为万物互联的智能时代持续提供符合时代要求的创新存储产品。

  谈到2020年华为在存储领域的目标时,张福鹏表示:在2020年,我们将围绕数据基础设施的三大核心场景,即生产交易、数据湖以及边缘上提供业界领先的解决方案。

  面向生产交易,我们持续推进闪存普惠,在永快、永稳、永智方面持续发力,采用全新的硬件设计、面向全闪存的FlashLink架构以及久经验证的OceanStor OS操作系统,从架构稳定性、业务高性能、到运维智能化方面,进行技术创新和升级。

  面向数据湖,我们基于高效弹性EC算法,业界第一的高密大容量硬件,满足海量数据高效存取需求;通过原生HDFS协议实现大数据存算分离,计算存储独立扩展,为实现TCO大幅度节省;基于Kunpeng芯片算力卸载+AI Fabric无损网络打造性能标杆;非结构化协议互通,让HPDA/AI等数据分析无需复杂数据拷贝,效率提升1倍以上;数据生命周期管理方面实现业界首个块、对象、大数据、文件多数据服务统一管理。

  面向边缘,我们提出极简、智能的智能边缘解决方案,运用云上通用智能+边缘个性化智能协同技术,基于AI全生命周期智能管理,从资源发放到故障定位全方位智能,使得容量趋势提前365天,性能趋势提前60天预判、系统提前14天发现故障盘、93%问题发现即给出方案。创新的智能芯片+边缘协同的算法,树立了存储业界智能化的新标杆。

  写在最后,华为公司经过了18年的技术研发,已经进入到快速增长期。截止到2019年Q4,连续四季度持续保持30%左右的高速增长。华为在中国市场已经连续5年保持了第一的市场份额,并在2019年第四季度全球销售收入排名升至第三,显现实力。这都归功于长期不断的在基础的硬件、算法、系统以及架构上的科研开发。

  未来,华为公司会持续投入技术研究,并在产业组织、专利和研发多方面深耕,在智能时代存储产业向下扎到根,保障我们长期能提供最先进、最好的产品解决方案。同时,华为携手合作伙伴,打造智能、融合、高效的存储产品和方案满足客户创新数字化和云化转型需求。

  日前,第十届全球云计算大会·中国站在浙江宁波圆满落幕,曙光云企业代表发表了《城市革命·智慧未来 云计....

  “上面千条线,基层一根针”,是讲到基层社区管理就会浮现脑海的一句真实写照。 随着社区功能的日益强化,....

  底线是边缘的人工智能很可能在你的未来。当涉及到边缘人工智能时,Avnet可以成为您满足所有物联网....

  通过一点创造性思维和监管的转变,我们人民可以改变数据收集的未来并收回对我们个人数据的所有权和控制....

  随着越来越多的组织投资于人工智能和机器学习,持续的技术进步有望进一步改善我们的生活,可能会达到我....

  找出你的 MAC 利用率:并非所有神经网络的行为都相同。您需要以您需要的批量大小找出您想要部署的....

  7月5日,第八届全球深商大会暨光明科学城大会在深圳召开,19位科技界、产业界“大咖”围绕创新生态、科....

  利用处理大数据和应用机器学习的工具,贝克休斯的工程师能够很好地解决改善业务成果的问题。凭借对这些....

  近日,由工业和信息化部网络安全产业发展中心主办的“2021年度信息技术应用创新典型解决方案”评选结果....

  采用机器学习(ML)和人工智能(AI)技术的机器视觉系统可以实现自动化的车辆检测,为汽车制造商、经销....

  近日,基于昇腾AI,中林信达推出「端边云AI烟火超算融合应用平台」解决方案,并正式加入昇腾万里伙伴计....

  云计算已成为一个家喻户晓的术语,在技术市场领域的重要性和吸引力越来越大。简单地说,云是指通过互联网提....

  本文作者:Shai Joshi,IBM Consulting 全球混合云服务管理合伙人 想想我们作为....

  数字化时代,数据是新的生产资料,算力是新的生产力。很多朋友好奇,算力究竟从哪里来?一个重要的答案就是....

  现代信息技术的迅速发展及其与教育融合的不断加深,不仅改变了师生的教与学方式,还对教育理念、教育文化等....

  在大数据时代,人工智能的相关技术越来越受到关注,人工智能产品的市场话语权也越来越大。因此,许多科技公....

  在提倡素质教育的今天,机器人学科因为适应新课程,对学生科学素养的培养和提高起到了积极的作用,在众多中....

  协作机器人因为具备高安全性、高灵活性和高精度,且满足即插即用、编程简单直观、操作简单,让非专业人员也....

  2022年度,四创电子踔厉奋发,产品应用深耕挖潜,市场开拓创新突破,用产业成果书写奋斗征程,以创新力....

  Plunify 工程师设计了一种解决方案来解决性能和时序挑战,使用机器学习技术来关闭时序并优化 ....

  4月底,由中国科学院发起,南非科学院、巴西科学院、俄罗斯科学院、印度国家科学院共同参与主办的金砖国家....

  人工智能正在缩小,可以运行这些高级算法。技术进步现在允许人工智能和预测性维护从基于 MPU 的设....

  【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

  ▌STM32中国线上技术周简介 在STM32诞生15周年之际,意法半导体将首次举办 “STM32中国线上技术周”。通过本次线上技...

  视频目标跟踪要求在已知第一帧感兴趣物体的位置和尺度信息的情况下,对该目标在后续视频帧中进行持续的定位....

  2022年7月2日,湘江鲲鹏与华为举行昇腾万里伙伴授牌仪式。为推进人工智能产业繁荣发展,加速数字化进....

  为打破“数据孤岛”,强化社会治理信息化水平,辽宁省朝阳市政府、营口市政府从民生政务服务需要出发,立足....

  1.多种技术的集成将支持工业发展 从技术角度来看,2021元宇宙爆炸的原因之一是涉及元宇宙开发的相关....

  人工智能与教育系统以人类的知识实践为纽带,两者存在多层次、复杂且密切的相互作用,人工智能应用于教育实....

  随着人工智能和机器人技术的进步,许多人担心人类的工作机会将被机器人抢走。从历史上看,自动化和技术进步....

  谈到人工智能,它立即被描述为人类的替代品。但真的是这样吗?虽然毫无疑问,人工智能将改变设计框架,但这....

  人工智能芯片企业中科寒武纪科技股份有限公司发布2022第一季度报告,具体内容如下。 一、 主要财务数....

  电子发烧友网报道(文/李弯弯)视觉AI是人工智能一个子领域,一般也称为计算机视觉,主要方向为模式识别....

  许多推理服务在幕后使用诸如 BERT-Large 之类的语言模型。另一方面,基于语言的应用程序通....

  大数据及人工智能厂商北京博睿宏远数据科技股份有限公司发布2022第一季度报告,具体内容如下。 一、 ....

  电子发烧友网报道(文/李弯弯)视觉AI是人工智能一个子领域,一般也称为计算机视觉,主要方向为模式识别....

  一.前言 收到Sipeed M2 Dock开发板后,我就在想怎么做一个有趣的小作品,于是我就想到了做一个自动跟随的小车,我的车体采...

  根据世界经济论坛2022年《全球风险报告》显示,“气候行动失败”是未来5-10年内全球最主要的长期风....

  昨日,商汤科技与阿尔法·罗密欧F1车队ORLEN(Alfa Romeo F1 Team ORLEN)....

  2022年6月30日,智洋创新与华为在淄博签署合作协议,正式加入昇腾万里合作伙伴计划。

  深圳市盐田港集团有限公司(以下简称“盐田港集团”)与华为技术有限公司(以下简称“华为”)签署《战略合....

  2022年7月2日,拓维信息旗下湘江鲲鹏与华为举行昇腾万里伙伴授牌仪式。为推进人工智能产业繁荣发展,....

  近年来,人工智能在世界科技舞台上掀起了一股又一股的大热潮,相关政策的频繁落地期,以AI相关的教育蓝海....

  二十一世纪已经全面进入人工智能与机器人教育并驾齐驱的社会,未来不掌握高科技,就算读书速到博士研究生,....

  孩子本应该是活泼开朗、爱玩爱笑,对新鲜事物总是充满好奇心,什么都想要问一问,动一动的。但是随着现代工....

  近年,随着人工智能的快速发展,少儿编程方兴未艾。“双减”大风袭来,让少儿编程更加火爆,越来越多家长把....

  IBM商业价值研究院(IBV)研究表明,消费者、公民和员工将人工智能视为帮助解决人类面临的最紧迫挑战....

  中国领先的产业数字化研究与咨询机构爱分析发布了《2022国央企数字化厂商全景报告》,维智科技凭借出色....

  AI开发平台ModelArts:面向开发者的一站式AI开发平台,提供海量数据预处理、智能标注、大规模....

  【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

  ▌STM32中国线上技术周简介 在STM32诞生15周年之际,意法半导体将首次举办 “STM32中国线上技术周”。通过本次线上技术...

  云计算与边缘计算 云计算 端侧仅负责发送输入数据,并接收计算结果 计算资源集中管理和分配,借助服务器的强大性能,可以实现...

  1、RK1808人工智能计算棒全平台RockX支持 Rock-X SDK是一组快捷AI组件库,支持RK3399Pro和RK1808平台。开发者仅...

  1、TB-RK1808S0 AI 计算棒开发介绍RK1808 人工智能计算棒是瑞芯微旗下 Toybrick 系列产品中的一员,计算棒搭载瑞芯微的...

  在“十四五”规划推动下,AIoT加快与产业融合并逐步落地,AI场景应用落地过程中,IoT终端硬件的智能化需求日益突出,芯片...

  硬件平台:迅为-RK3399开发板 系统:ubuntu项目:TensorFlow 测试 配套资料在网盘资料的“iTOP-3399 开发资料汇总(不含...

  每个人毕竟都不是专业摄影师,因为一些取景以及构图或者外在环境的因素,一些人像照片总会产生不很清...

  Sipeed M2DOCK:全志V831 开源 人工智能 神经网络 视觉 AI Python开发板