大庆油田龙存集群存储系统二期案例

 

 

由于龙存科技在大庆油田一期存储项目中得到了大庆油田用户的广泛好评,特应要针对大庆石油高性能计算平台数据读写特点进行二期存储系统的定制研发,以满足现今计算飞速发展而对存储带来的需求。

 

一、背景 

 

大庆油田是我国目前最大的油田,也是世界上为数不多的特大型砂岩油田之一,近年来随着并行计算机、高性能集群技术以及GPU等硬件的快速发展,石油勘探的计算频率也得到了巨大的提升,为满足石油勘探软件的不断变革与推新所带来的存储需求,存储系统就需要针对石油勘探软件算法的特点,对存储系统进行定制开发,以满足石油勘探计算平台的需求,为大庆油田的高性能计算平台构建一个高性能、高可用的存储平台。

 

二、挑战

 

存储系统需针对石油勘探计算平台中多种石油勘探软件的I/O模式进行分析,解决在高性能计算平台中由于计算任务量大、并发度高、随机性强等因素带来的巨大访问压力;

 

计算平台在计算过程中会产生海量无规则的大小文件,存储系统需高效的支持海量文件的并发访问以及快速检索;

 

由于石油勘探软件运行模式的多样化,在某段时间内应用平台在访问数据时存在局部性,为使计算任务的效率更高,存储系统需根据应用系统局部性的特点,通过智能缓存技术来加速石油勘探计算应用数据的访问;

 

由于整个计算平台是面向研究院的各个科研室的共享平台,为防止用户之间发生数据篡改或误删除现象,存储系统需要提供面向多用户的权限管理技术来保证不同任务数据的安全性;

 

整个计算平台在实际的使用环境中处于7*24小时的实时运行环境,存储系统需要提供全局数据高可用机制防止硬件设备损坏导致的数据丢失;

 

计算平台在实际的使用过程中,随着计算任务规模的不断扩大以及系统硬件设备的更新换代,需要存储系统能够实现不停机在线扩容以及更换老旧设备。

 

三、龙存集群存储优势 

  

龙存科技研发团队由中科院多名硕博组成在项目上已经有多年研制和实用经验,并在多个行业提供了大量的解决方案和系统方案,支持了国内众多的海量数据用户,积累了丰富的专业知识和技术。针对于不同应用软件,具备很强的研发能力,可根据应用特点对存储系统进行定制研发;

 

龙存存储系统完全采用通用硬件构建,而性能又能极大超越传统的存储系统,是目前业内具有最佳性价比的存储产品,能够为石油勘探行业节约大量的购买和维护成本;

 

此项目完全针对石油勘探软件应用访问特点进行定制性开发,具有独特的创新性、唯一性和领先性,安全可靠,通过独有的元数据集群技术,高效的分片技术以及数据恢复等技术,具有世界领先的先进性,创新性,完全符合石油勘探计算平台的长期存储需求。

 

     四、龙存带来的提升

 

龙存科技针对高性能计算研发了独特的数据恢复算法,使整个存储空间利用率高达80%,且数据恢复速度比传统RAID机制数据恢复机制提升五倍以上;

 

根据石油勘探多用户访问特点,研发独特权限机制,可以动态设置目录容量以及访问权限,完全屏蔽掉由于多用户应用模式存在的安全隐患;

 

完全针对石油勘探应用访问特点进行定制研发,整个存储平台同时运行多款石油勘探软件,包括Omega、CGG、GeoEast、Agt、闪电等多种处理软件,并在性能上得多种处理软件得到较大提升;现今整个平台可为用户提供超过12GB/s的聚合带宽,以及1PB的实际使用空间。

 

 

 

 

2023-07-10
首页    大庆油田龙存集群存储系统二期案例