成功案例

一、背景

 

  油气田勘探开发是一个集石油天然气地质勘探、油气田开发、地质开发试验和计算机应用等为一体的综合性应用科学,具有数据报表类型多,数据量非常庞大等特点,每一个勘探单点都会有几个GB甚至几十个GB的数据量。随着技术的发展和进步,原油公司对地球勘探开发的要求越来越高,需要处理的数据量呈“指数级”难以想象的速度增长,需要借助高性能机群的数据处理能力,在最短的时间里对采集数据进行精细处理,通过综合解释研究,为下一步的钻井、开采提供真实反映地下构造的基础数据。应用涵盖了地震资料的处理解释、测井资料的处理解释、试井分析、油气藏数字模拟、盆地分析模拟、圈闭描述评价、油气描述及储量计算等。

 

二、挑战

 

1、油田勘探开发数据量大

 

  一条二维数据测线的地质资料,数据量达数十GB;一条三维数据测线的地质资料,数据量高达数百GB;每次进行并行计算的数据总量更是高达数十TB乃至数百TB。

 

2、高性能处理要求高I/O带宽

 

  高性能计算集群极大的提高了资料计算处理能力;系统的计算能力远远高于磁盘带宽,使得系统I/O性能与计算能力间产生瓶颈;如在几小时内完成至少100平方公里的三维地震数据处理,其I/O峰值就可达每秒数百兆;高数据量要求高计算并行度,高计算并行度带来对数据访问的共享与并行性能要求。

 

3、海量数据的存储管理

 

  数据容量高达数百TB且还在不断增涨;地震资料数据异常珍贵,损坏、丢失都会造成巨大损失;管理员需要加大管理灵活度,要求能够对数据进行统一调配。

 

4、高可用性与可扩展性需求

 

  灵活的存储架构,具有故障恢复、故障切换、负载均衡等功能;不影响原有系统的前提下的计算节点、传输带宽、数据迁移能力、数据存储容量等方面的扩展。

 

三、龙存解决方案

 

1、方案说明

 

  LoongStore集群存储系统是一款针对海量数据存储应用而设计的大规模通用文件共享集群存储系统,采用通用的硬件设备作为构建单元,为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口。LoongStore存储系统依靠灵活的集群架构满足石油和天然气公司的需求。

 

 

2、方案特点

 

按需扩展容量与性能

 

  NAS 和 SAN 系统架构固有的局限性,导致了管理的复杂、有限的扩展性和高昂的成本。LoongStore存储系统将数据统一存储到同一个存储空间,在单一的存储集群中节点数可达数万个,而且单一的文件系统支持的最大容量达EB级。 LoongStore灵活的扩展性允许在线扩容,管理员可以很容易的添加智能存储节点或者硬盘,容量立即可用,而且扩容过程不影响前端的应用,同时系统的总体IO带宽随着规模的扩大线性增长。

 

支撑高并发数据访问

 

  LoongStore集群存储能够消除石油和天然气公司的传统存储环境存在的信息孤岛,支持在一个统一的存储系统空间存取大量的数据,而且提高所有数据的访问性能,实现了真正意义上的突破。LoongStore 的带外数据传输机制,能够让应用服务器和智能存储节点实现直接地、高并发的数据访问。LoongStore能够在单一的文件系统中提供突破性的TB/s的吞吐量以及每秒数十万个文件的查询效率。

 

提高资料处理连续性

 

  LoongStore存储系统采用了高效的全系统规模数据高可用技术,彻底消除存储系统中的单点故障,确保用户的应用持续稳定地运行。LoongStore采取了全局冗余机制,用户可以将指定的数据设置相应的冗余度,冗余数据存放在不同的服务器上将确保出现智能存储节点宕机时数据不会丢失,也不会出现服务中断的现象。另外,LoongStore系统内置了自动故障探测机制,可以动态探测不同的故障,并自动启动数据的恢复流程确保数据完整性。

 

无缝兼容现有应用环境

 

  LoongStore集群存储系统提供给地震资料处理的计算节点为与本地硬盘完全兼容的访问接口,相关作业程序可以无缝的从传统存储系统上切换过来。并且由于LoongStore使用开放架构的硬件平台和标准的以太网络,这样企业可以直接将LoongStore集群存储系统部署到现有的应用环境中,而不需要做任何变化和改动,实现了从硬件到软件的全方位兼容。另外,LoongStore提供了简易的管理界面,企业可以轻松实现单点管理,一个人就可以管理容量达EB级的数据。

 

 

四、典型客户介绍

 

 

  中国石油大庆油田的勘探开发研究院使用LoongStore集群存储产品作为数百台高性能Linux集群后端的高效数据存储平台,替换了高端的磁盘阵列和SAN共享文件系统方案,将原有的数据读写性能提升为原有的五倍以上,大幅度提升了地震资料处理效率,同时还降低了存储系统的构建成本。目前存储容量已经超过3PB。