前言:长期数据保存是刚需
随着国家推进数字经济基础设施建设,数据信息产业和大数据产业被推到了风口浪尖。由此,数据归档、远程容灾、安全管理等方面的问题日益突出,各行业的数据监管需求应运而生:
金融:中国银监会规定应将录音录像资料至少保留至产品终止日起6个月后或合同关系解除日起6个月后, 发生纠纷的要保留到纠纷最终解决后。保险:中国保监会规定保险期间在一年以下的保留不少于5年,保险期间超过一年的保留不得少于10年。公检法:司法档案规定诉讼档案管理期限20年、60年、永久。公安现场执法视音频资料,永久保存。医疗:规定门诊、住院病历保存15年和30年。国土:规定国土资源业务档案的保管期限分为10年、30年、永久。测绘:测绘地理信息业务档案保管期限分为10年、30年、永久。教育:学生信息,成绩,档案要求永久保存。这些政策要求对数据存储和管理提出了更高的要求。如何构建一套统一的数据湖库,让数据信息永久保存并赋能,同时解决海量数据与管理压力之间的矛盾,一个长期、稳定、安全、绿色的存储系统成为当今企业的重要需求。
长期保存数据需要多少个步骤?
“把一头大象放进冰箱需要几个步骤”出自赵本山和宋丹丹的小品《钟点工》中的经典桥段。
之一步:把冰箱门打开;第二步:把大象装进去;第三步:关上冰箱门;一共三步!但是真的有那么简单吗?大象好大。
如果把大象塞到冰箱里纯粹是娱乐,那就换个现实问题:长期保存数据需要几个步骤?
之一步:购买XSKY光磁一体机;第二步:设置数据流动策略;第三步:周期扩容,滚动升级;三步就能做到?对,就三步!
之一步:购买XSKY光磁一体机
目前提到数据长期存储或归档的常见方案主要是磁带库和蓝光库,那么应该如何选择呢?我们先来了解一下磁带库和蓝光存储的优缺点:
参数
磁带库
蓝光存储
有效储存时间
10至15年
50-100年
可读性时间
超过200次
超过2000次
记录方式
与磁带接触
光学头不与盘表面接触。
寻址速度
慢的
快的
环境要求(湿度、温度、电磁、灰尘等。)
高的
低的
维修费用
高,需要2-3年定期磁带。
低的
和睦相处
低,互不相容。
高,兼容
数据安全
可重写的
防篡改的
总成本(数据保存30-50年)
高的
低的
迁移周期和成本
5-8年,成本高
50-80年,低成本
基于以上比较,蓝光存储在数据的长期存储方面具有优势,但我们需要考虑数据性能、成本、长期、安全稳定性等各方面的因素。长期存储只是解决了功能需求,如何低成本长期保存才是重要的价值。虽然蓝光存储具有低成本、长期存储等诸多优势,但其存储性能却不能满足使用需求。所以很多蓝光存储厂商在蓝光存储的管理节点中加入了数据缓存机制,也就是所谓的光磁一体化产品。但是这个缓存节点是单节点部署,不是分布式集群部署,所以在海量数据存储的场景下无法满足。而且对于长期存储来说,单节点故障无法保证数据安全。一般服务器的使用寿命在10年左右,10年后缓存节点的更换也是一个问题。
XSKY结合自身多年分布式存储的优势和蓝光存储低成本长期存储的优势,提出了XSKY数据长期存储系统——光磁一体化产品方案。同时实现了高性能、高稳定性、高安全性、易管理、低成本、长期存储的存储能力,可以实现海量数据的低成本长期有效存储。
XSKY光磁一体机
XSKY Long-term Retention System(XLRS)是一个基于蓝光光盘库的分布式可扩展对象存储系统,提供对象存储服务和归档存储服务。结合平台盘和蓝光存储介质,兼具磁存储高性能和蓝光存储低成本长期存储的双重优势,可实现海量大数据的低成本长期有效存储。该平台实现了自动分层存储。根据用户的策略,数据在磁盘存储和蓝光存储之间自动迁移,满足冷热数据分层、归档备份、长期存储等企业数据的业务需求。
产品架构图
XSKY数据长期存储系统是真正的光磁一体机。磁存储和光存储介质完全集成部署软件系统,无需单独配置独立的蓝光系统管理服务器。三个服务器的最小规模配置有一套蓝光磁带库。
产品优势
1.冷热数据的统一管理
常见的冷热数据存储需要两套存储,一套存储热数据,一套存储和归档冷数据,热存储中的数据通过迁移或归档软件迁移或归档到冷存储。同一组业务应用会根据访问需求产生两种数据,冷数据和热数据。根据常见的冷热数据存储方案,需要两个访问入口。如果对数据进行分析和处理,需要通过迁移或归档软件将数据从冷存储迁移到热存储。冷热数据的管理非常复杂,不便于长期维护,不能很好的挖掘数据的价值。XSKY数据长期存储系统——光磁一体机只需要一套存储,解决冷热数据的统一管理,统一接入门户,内置数据流引擎,让冷热数据永活。
2.数据分级控制
今年年初发布的《数据安全法》也提出,要对数据进行分类分级。不同级别的数据在不同的活动场景下有不同的安全级别,可以设置不同的安全保护手段和措施。
XSKY数据长期存储系统可以真正实现热、温、冷数据按需分级存储和全生命周期管理。首先,在写入数据时,可以根据上层业务访问需求和数据类型,将不同的数据存储在不同的存储级别。访问频率高的热数据可以直接写入SSD介质组成的性能池,访问性能要求低的数据可以写入普通HDD池。写入后不需要访问的数据也可以直接写入蓝光存储,进行长期存储。不同级别的存储可以根据需要设置不同的安全策略和访问策略,以确保对不同数据的细粒度安全控制。
第二步:设置数据流策略
只有数据流动了,才有价值。对于存储的数据,可以按照生命周期策略在热、暖、冷三个方向自由流动。如果存储在SSD池中的热数据在一段时间后访问频率降低,可以通过策略将这部分数据流向HDD数据池,不需要访问的历史数据可以根据策略自动流向蓝光存储进行长期存储。对于流向冷池和蓝光的数据,也可以根据需要流回热、暖数据池,使数据在所有存储介质中自由双向流动,挖掘数据的更大价值。
通过可视化的管理界面可以灵活配置生命周期策略,一个策略可以轻松管理数据的整个生命周期。
对于需要发布的数据,可以直接同步到云端进行发布,发布的数据也可以同步到不同的云端进行云备份。根据目前的业务需求,前期运行在云端的业务也可以无缝地将核心数据平滑出云,真正打通云上云下端到端的混合云方案,实现不同数据云的不同安全管控。
第三步:定期容量扩展和滚动升级
要真正实现数据的长期存储,除了软件的长期稳定可用,硬件设备也要能提供永久存储。但目前企业硬盘的使用寿命只有5年左右,服务器的使用寿命在10年左右,蓝光光驱的使用寿命有限。如何满足硬件设备的永久性,让数据永存?
XSKY数据长期存储系统可以利用自身软件定义存储的优势,在不影响业务使用的情况下,平滑替换过度保护的硬盘和存储服务器。与磁带库不同,蓝光光驱没有兼容性要求。蓝光光驱可以完全兼容,过保护光驱可以顺利更换。
可以支持无限更换硬件设备,使软件系统可以忽略硬件设备迭代对系统的各方面影响,实现多波数据生命周期价值曲线。
产品价值
简化存储架构:真正光磁融合一体产品,无须单独蓝光管理节点,减少硬件采购成本;一套光磁一体存储平台解决海量非结构化数据的性能、安全、扩展性难题;分级存储,分级管控:热、温、冷数据按需分级存储,根据数据的不同安全级别分级安全管控;多协议互通,冷热数据统一管理:S3、NFS、HDFS协议互通,灵活适配各种业务场景,且冷热数据统一管理,统一访问入口;全生命周期管理:数据按需在热、温、冷不同存储介质双向流动,从原始数据获取、生产、分析、离线、删除实现全生命周期管理,挖掘数据更大价值;低成本长期保存:采用光磁一体,结合光磁不同存储介质优势,实现高性能、高安全、低成本、长期保存、数据永活等能力,满足各行业对数据保存的法规遵从要求;弹性扩展:可灵活支持硬盘、节点、存储池、光盘匣、蓝光柜等多维度按需动态扩展能力,满足数据不断增长需求;友好混合云:无缝上下云,真正打通云上云下端到端混合云方案;结论:数据常青
XSKY陈星天河数据长期保存系统专注于数据采集、存储、管理、使用的全生命周期管理,推动各业务场景的数据基础设施升级,帮助客户降低数据存储成本压力,提高数据使用效率,解决海量数据管理的复杂问题。实现在数据运营应用上形成可管理、可控、可信、可追溯的体系,助力企业数据常青。