电网海量非结构化数据存储及备份
海量的非结构化数据广泛存在于电网核心应用系统中。如何最有效地保护、管理和分析海量非结构化的数据成为必须考虑的问题。随着数据中心的建设,传统存储阵列赢得了巨大的发展,但是随着虚拟化的普及以及非结构化数据的爆炸式增长,传统存储阵列的疲态凸显,在处理能力、扩展性、可维护性、可靠性方面,以及成本考量都呈现出更多地劣势。
针对电网的海量非结构化数据的存储业务需求,构建出一套分布式、模块化扩展、数据管理功能丰富、能够根据需要弹性扩展的数据中心计算和存储资源调度基础设施,使得系统可以在将来相当的一段时期内保持技术的先进性,以适应未来信息化的发展需要。为解决海量非结构化数据存储/备份/分析/检索,提供高可靠、高性能的存储服务。
五大优势
1.海量文件处理
实现了小文件合并处理与压缩的功能,极大减少了巨量文件元数据对文件系统索引体系带来的压力。支持单存储池超过1000亿的文件对象数量。
2.NFS/FTP文件共享
支持NFS/FTP文件共享功能,即网络文件系统。在对象存储中通过NFS/FTP提供文件系统功能接口,解决通过文件协议访问对象存储实现多客户端数据共享的需求,并且满足对象存储直接对接NAS备份功能。
3.数据生命周期管理
支持存储桶数据生命周期管理功能,可以对存储桶内的数据按规则进行部分或整桶归档和删除,支持实时归档及延时归档,同时支持延时删除功能。用户可对存储桶中的对象数据设置不同的生命周期,不经常使用的数据可以定时归档到冷数据池,部分垃圾数据可以定时进行清理删除操作,以便提供更有效的存储空间。
4.可靠性大幅度增强
产品层面不仅解决了传统分布式存储系统中对可靠性造成威胁的很多缺陷,而且对关键的IO路径和管理控制模块皆进行了冗余设计。同时,通过拓扑规划功能对存储集群支持多种安全级别的数据安全保护,如支持节点级别、机架级别、数据中心级别的故障域。存储系统可靠性及持续在线特性得到有效保证。
5.高级功能
支持多站点数据同步部署,使多个对象存储集群全局共享统一的用户和存储桶信息,实现集群内数据就近读写访问,集群间数据异步复制容灾,提供全局对象存储访问服务。同时支持多种数据精简,支持端到端压缩技术,从网关层开始压缩,减少了网络传输和实际容量占用。同时小文件合并归档技术大大减少了海量小文件的元数据和数据碎片化问题,大大提高了有效空间利用率。