四川测绘地理信息局龙存集群存储案例

我国近年来在卫星技术上的飞速发展使得卫星技术成为了我国当今社会广泛应用的技术之一。其中，卫星在测绘和地理资讯领域中的应用越来越重要。遥感卫星可以对地球表面的农田、森林、城市和公路等地理要素进行实时监测，在军事、林业、环保、气象和海洋等领域中得到了广泛的应用。越来越多的卫星以及高精度的卫星投入使用，来自卫星的数据呈几何式增长，卫星数据的存储系统在容量、性能以及扩展性等方面都面临极大的挑战。

一、卫星测绘行业挑战

（1） 大容量。地球观测数据与信息系统(EOSDIS)每天接收到的数据量以4TB的速度增长。这些巨量的数据带来了存储、管理、处理与分析上的难题。

（2） 多类型。遥感观测的传感器种类包括全色、多光谱、高光谱、红外、合成孔径雷达(SAR)、激光雷达(LiDAR)等，这些数据的格式不同、元数据不同、数据处理方法也不同，加剧了遥感数据处理的复杂性。

（3） 高效率。遥感数据的处理速度远远赶不上遥感数据获取的速度，造成了大量遥感数据的浪费；另外，特定的遥感应用领域，如应急救灾、反恐维稳等，对数据处理有一定的时效性要求，以利于指导行动。海量数据的处理时效性遥感应用分析的极大挑战。

（4） 难以辨识。遥感数据在获取的过程中受到传感器自身特性、传感器平台抖动、大气影响、地物复杂环境干扰等因素的影响，使得获取的数据存在不一致性、不完整性、模糊性等多类不确定性。同时，遥感数据还会受到模型近似的影响而存在误差。这些因素使得从数据中发现规律存在一定难度。

（5） 高价值。各种遥感数据反应了地物的不同属性，从遥感数据中可以挖掘出军事目标信息、环境状况信息、水文信息、气象信息、农作物长势以及产量信息、森林信息、城市要素信息、城市变迁要素信息、城市环境要素、交通信息等，这些属性信息对科学研究及人们日常生活具有极高的价值。

遥感数据处理系统建设正在面临着数据密集、计算密集、并发访问密集、时空密集等实际应用带来的挑战。传统的存储系统由于存在着不支持并行处理、扩展性不高、数据吞吐量小、可靠性低等问题，无法解决遥感大数据带来的挑战。因而，只有具备了兼容性、动态性、高性能计算、伸缩性、容错性以及深度挖掘特性的遥感大数据处理系统，才能够满足遥感大数据的应用需求。

龙存针对测绘行业以上需求分析，设计了LoongStore 大规模集群存储系统以应对测绘行业对存储的需求。

二、龙存方案

1、大容量
             龙存提供4500TB 存储容量，为前端多个业务系统提供存储服务。

      2、利旧能力
            龙存存储系统有能力满足高端建设的任务，对已有投资充分利用，能力兼容不同品牌、不同型号、不同架构体系的存储设备，实现存储资源虚拟化。

      3、定制开发的能力
            实现存储资源的统一管理，能够深入存储资源底层充分挖掘存储资源的性能潜力，根据业务需要对存储资源的性能进行调优。

      4、确保数据安全的能力
            即使在多块磁盘甚至是整台机器宕机后，均能保证数据的安全性。可根据数据重要性灵活调节冗余度，存储空间利用率最高可达80%，且确保数据的100%的安全。

5、可靠性要求
            支持在线更换存储系统内部所有硬件设备，无需停机维护；支持在线升级存储软、硬件，无需停止应用。

6、云分发服务便捷
            系统能够满足业务的按需进行数据分发。

7、归档效率要求
            系统内置归档功能，基于存储层面内部的数据复制归档，单个1TB 大小文件可1 秒内完成数据拷贝，以此提升整个存储系统安全性。 

8、访问安全要求
            具备权限管控机制，控制任意终端对存储系统中的任意目录进行权限划分，保证访问的安全性。

9、管理简易要求
            简易管理及维护，具有报警机制，可将服务器状态实时反馈到界面。

10、存储统一要求
            具备实现统一式云存储平台，满足不同应用同时使用，无需另外建立存储系统。

三、效果评估

通过针对性定制改造，在原有客户存储系统基础上，建设一套新的统一分布式集群存储管理系统，兼容现有不同品牌、不同型号、不同架构体系的存储设备，实现存储资源虚拟化及统一管理，一方面通过有效利用现有资源实现扩容，对未来采购设备进行兼容性扩容；另一方面整体优化存储性能，提升系统数据吞吐效率、访问效率、文件检索效率。全面实现卫星中心存储系统在容量、性能、扩展、管理、安全等多方面的提升。