大数据“连环引爆”存储需求:多元介质融合共生

时间:2021-04-16
作者: 骆轶琪

光存储有效存储期能达到50年。

进入以5G为代表的新基建发展脉络之下,加上新冠肺炎疫情催生出对于更多元终端需求的涌现,数据爆炸时代已经渐行渐近。

当然,爆发的数据背后,实际上其中只有极其少的部分被存储并继续运用。在近日举行的第九届中国电子信息博览会(简称CITE2021)上,西部数据副总裁兼中国区业务总经理刘钢就指出,预计在2024年,全球将生成143ZB数据,其中中国产生36ZB,但只有小于1.5%的数据被存储下来。

“进行分布式存储、分层存储、分区存储,就会让数据得到更好的价值发挥,这是创新存储架构很重要的‘三分’。”刘钢告诉21世纪经济报道记者。

尤其在今年上游元器件紧缺的背景下,也倒逼整个产业链能力的前置与聚合,并将技术更快落实到应用场景中。

数据本身介于其调用频率等不同,被行业分为热数据、温数据、冷数据等多类型,也需要来自包括磁电、光等不同介质混合的存储器产品进行支撑,更多元的产业生态正在形成。

存储需求井喷

存储需求的爆发不是来自个人或者企业级单向维度,而是螺旋式的。特别是进入短视频时代,让消费端的存储需求大增,这就连带对上云诉求激增,进而带来企业级存储业务的增长。

“以HDD(机械硬盘)为代表的大数据存储预计将增长到1.62ZB,从现在到2024年,年化增长率在30%左右;以SSD(固态硬盘)作为衡量标志的快数据存储,预计到2024年将达到333EB,约50%年增速,二者都将是非常快速地增长。”刘钢分析道。

他向记者指出,此前市场上曾有观点认为,闪存的增长将代替原有机械硬盘的需求。仅从消费者类产品看,的确有这个趋势,固态硬盘正逐渐代替机械硬盘。但企业级存储既需要大数据,也需要快数据,所以在企业级数据中心存储里,机械硬盘和闪存都在快速增长。

“存储市场需求现在是井喷式增长,除了云服务商的存储需求在增加,我们发现还有一些新的服务商在不断涌现,比如IPFS(一种分布式存储)。所以在我们看来,这种增长会是一个长期、持续性的趋势。”刘钢进一步分析道,正是这种快速增长,一定程度导致了部分领域出现闪存需求紧缺的情形。

去年蔓延至今的上游元器件普遍缺货是另一个宏观背景,这些则加剧了下游厂商与上游元器件提供商的协同进程。

刘钢告诉21世纪经济报道记者,作为存储原厂,西部数据此前更多是与渠道、设备制造商洽谈合作,即如何将公司产品被集成到前者系统中去,但彼时的使用场景还不够精细化。

“现在我们会再往前做一步,更靠近企业用户或者云服务商,甚至还拉上行业中关键的软件方案提供商。我们从只是提供部件的设备厂商,开始更加靠近最终用户需求,并且跟相关软件公司合作。”他续称。

在多元因素影响之下,国内偏下游厂商也被倒逼着将需求规划能力更加优化,与上游产业链加强联动能力,才能相对从容地面对当前普遍性缺芯难题。

“我们发现(下游)客户经过供应方面的考验之后,会改进自己的供应和交货能力,做更长远、更具体的规划。”刘钢认为,换言之,如今行业面临的难题,其实也在优化产业间的管理能力。

面对如今的供应紧缺问题,刘钢告诉21世纪经济报道记者,西部数据此前已有提前准备。在去年,公司旗下晟碟半导体(上海)有限公司进行了上海工厂三期厂房扩建,并在上海建立实验室,“这都是为了扩充西部数据先进的产品制造设施和以产品为中心的技术研发,以支持潜在的产能扩张。”

技术也在同步演进,目的是以更少堆叠层数、更小晶圆体积,实现更大的NAND闪存容量。“总结来说就是用户既需要大容量、快速访问,还要兼顾低成本、低功耗。”他指出,但实际上很难找到一种存储介质、存储设备能够同时满足这四方面需求。不过,进行存储架构的创新,则有可能满足用户对各种存储场景的需求。

多元技术混合涌现

庞大的技术实际上分为不同类型,一些需要被快速调用的数据被称为“热数据”,比如公路等快速运转行业需要进行时时运算的场景;但同时也有不小容量的数据在被收集后,只是被存储下来不再反复调用,比如医院等公立机构的档案等,这则被称为“冷数据”。

不同类型的数据对于容量、存储时间等要求的差异性,也让市场对更多项存储技术、存储介质多元共生。

紫晶存储市场部总监江子山就向记者介绍,相比之下,电存储具有高性能特点,也是目前存储行业最受关注、发展最快的领域,国内企业对此在不断突破。而这类型存储解决的问题是,在大数据+5G时代,数据流通速度加快,数据中心要满足5G传输需求,SSD就是首选。

SSD却存在局限性。不断流通产生的数据量极大,使很多数据在一次流通后并不需要被频繁读取和调用,而是变为长期可靠的信息被存储下来。对于这类数据,更适合用另一类存储介质完成,即紫晶存储聚焦的光存储领域。

“光存储有很多优势,高容量的蓝光光盘被写入数据后,数据便被刻录在光盘介质上。因为这样的数据记录在物理层面无法篡改,可以实现数据的安全存储。同时蓝光介质对环境要求很低,因此有很长的存储有效周期。一般来说,磁盘和闪存盘的存储周期约5-10年,这意味着采用这些进行存储的数据中心在5-10年就要大规模更换一次介质,但光存储目前的有效存储期能达到50年,未来还能进一步延长。”他续称。

此外据江子山介绍,传统数据中心的能耗较大。举例来说,在2017年,中国的数据中心总能耗甚至超过了三峡和葛洲坝两大水电站的总产电量。“能耗是未来数据量爆发后必须面对的问题。”相比传统存储介质,采用光存储的设备能耗要低很多。

在自主创新背景下,对存储领域的核心技术进行储备是重要一步。从底层技术储备来看,磁盘的核心技术主要来自欧美,闪存技术的核心在欧美、日本。在光存储领域,中国已经在产业链的各个阶段实现核心技术掌控,并参与到国际标准制定中。紫晶存储目前也实现了光存储底层介质、硬件设备、软件及解决方案全产业链的核心技术自主可控。

西部数据着重在架构创新方面,针对前述提到的“三分”原则在持续演进。刘钢介绍,存储架构有中心化的云存储,还有去中心化的分布式存储。目前的Web3.0、IPFS等方案就是去中心化的分布式存储,相比云存储,它有可能会通过新的存储架构来降低成本。

他指出,相比云存储,IPFS的服务商在以更快速度进化,几乎在过去四个季度就走完了云服务商过去四年硬盘的演进过程,从8T进化到了18T。

“总结来讲,针对Web3.0或者IPFS的基础设施架构,针对它的存储集群,我们有高密度的磁盘扩展柜、大容量的18T硬盘等。”刘钢表示。

技术的延伸已经不仅限于单一存储介质本身,据介绍,推动混合存储解决方案是紫晶存储现阶段的一个着力点。

“目前行业正对数据的存储时间、调用情况等进行分类,做分层管理。”江子山介绍,不同类型数据会被存放在不同的存储介质上,这就需要将蓝光、磁电等不同介质的存储技术融合在一体机中。“对紫晶存储来说,未来更大量的营收将来自解决方案和数据中心。我们不仅出售光盘、存储服务器,还要让存储的数据产生价值。一方面加强集成化的一体机、更紧凑的行业数据运营管理解决方案投入;同时加强与各类用户的合作,比如各类公立机构会有庞大的数据产生并有长期保存需求。”

在蓝光存储之后,行业共同的趋势是对全息光存储技术探索研发。江子山向记者介绍,这包括两个层面,一方面公司在与福建师范大学等机构共同布局同轴全息光存储设备研发,保持国际先进发展水平;另一方面也在同步推进全息光存储介质的技术研究与应用探索,目标是做到面对未来的全息存储技术路线上,存储介质、存储设备都能掌握在自己手里。

“所谓全息光存储,最大变化是把光信号的读取信息密度,从二维变成三维。原来光盘每个点读取是二维的信息,现在通过全息能映射出立体的图像,就可以存储很多信息。这样的发展将推动存储介质的容量出现几何增长。”他向21世纪经济报道记者解释道,当然全息存储距离实践应用还有距离,公司会持续关注和投入研发。