构建高效、灵活、智能的海量存储资源池
智能安防、医疗PACS、多媒体、直播点播、数字档案、数字图书、卫星测绘等场景产生了大量的非结构化数据,这些数据具有存储容量大、文件数量多、对吞吐要求高、总体存储低成本等多样化特点,对存储提出更大挑战和更高要求。
业务痛点
数据长期保存,硬盘故障风险不可预测,存在隐患
新老设备替换,数据迁移困难
数据增长快,存储横向扩容能力差
海量小文件,性能下降严重
非结构化数据量大,长期存储TCO高
解决方案架构图
铭冠网安深信服企业级分布式存储EDS海量非结构化数据解决方案,在实现大容量、高性能的基础上,通过AI智能模块,实现了对集群的极简运维、故障自动排查,大大降低了集群管理的复杂度,减少了存储集群的总体投资成本。
核心优势
AI人工智能硬盘故障提前15天预测,准确度达到98.5%
采集超过5万块盘,20多个指标,利用深度学习神经网络进行训练,提前15天故障预测,准确率达到98.5%,效率是扫描检测手段的50倍。
百亿小文件性能抖动不超过5%
区别于传统存储本地文件系统,EDS首先基于分布式架构对文件系统进行重构,提升分布式的处理能力,然后对分布式文件系统的元数据和数据进行分离存储,元数据存放于深信服独立研发KV引擎,将传统文件系统千万级提升至百亿级,跨越3个数量级。
小文件合并,写放大接近零
在海量小文件场景,传统文件系统存储的写放大可多达100%以上,而EDS通过持续的将小文件合并为标准尺寸的大文件,再回写到存储系统中,从根本上杜绝了系统中大量小文件的存在,写放大被降低到仅1%以下。
AI人工智能硬盘故障提前15天预测,准确度达到98.5%
采集超过5万块盘,20多个指标,利用深度学习神经网络进行训练,提前15天故障预测,准确率达到98.5%,效率是扫描检测手段的50倍。
百亿小文件性能抖动不超过5%
区别于传统存储本地文件系统,EDS首先基于分布式架构对文件系统进行重构,提升分布式的处理能力,然后对分布式文件系统的元数据和数据进行分离存储,元数据存放于深信服独立研发KV引擎,将传统文件系统千万级提升至百亿级,跨越3个数量级。
典型应用场景
海量小文件处理
以人脸识别、基因测序等人工智能应用为代表的业务系统,所产生的数据特点为单文件在4K-256K不等,且文件数量大,性能要求高。深信服EDS在满足千亿级的海量小文件存储需求的同时,可提供毫秒级的文件检索以及GB/s级的小文件吞吐能力,提供高效的海量小文件处理解决方案。
高性能文件共享
以能源勘探、媒资广电行业为代表的业务场景,其产生的大量图片、视频、音频等非结构化数据,均需同步共享进行二次数据处理、分析。深信服EDS可提供标准的NFS、CIFS协议,在实现文件共享的同时可提供1GB/s-100GB/s的高性能吞吐,为高性能文件共享场景提供完整的数据处理解决方案。
大数据分析
随着数据价值挖掘需求的增加,越来越多的企业已经或正在进行相关业务系统的建设。深信服EDS支持标准的S3协议,不仅可实现不同类型的数据融合,同时还可以实现与Hadoop等大数据分析平台的无缝对接,为用户提供便捷、高效的大数据分析基础架构平台,助力用户顺利建设大数据分析与价值挖掘的业务系统。
数据归档
随着企业信息化的快速发展,无纸化办公的业务快速推进,以文档、图片为代表的非结构化数据越来越多,增长越来越快。此类型数据具有占用空间大、利用率低,并有被随机调取的特性。深信服EDS可实现海量非结构化数据的高速归档,同时支持对归档数据的毫秒级检索功能,提供针对数据归档场景的低成本、高效、安全的数据管理方案。
视频图像处理
随着安防、审计、监管的要求越来越高,各行业与之相关业务系统所产生的视频、图片、音频等非结构化数据也越来越多,对存储的性能、容量产生了新的挑战。深信服EDS超大存储集群解决方案可提供EB级的存储空间以及灵活的扩展能力,满足用户相关系统的容量、性能扩展需要。