龙存科技-档案影像方案

解决方案

影像档案

二、档案数据业务应用特征与存储需求

（1）、业务应用特征

　　建设服务主导型的数字档案管理，即“文件形成电子化，传播档案信息网络化，在线编研系统化，档案利用超市化，馆藏档案数字化，来馆利用趋零化”等一系列新理念和新设想，利用高科技手段塑造档案管理的新形象。

　　数字化档案管理系统的建设突破了传统的、封闭的档案管理模式，实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案管理系统的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程，将不同介质、不同类别相互独立的档案信息整合成统一的资源库，并确定其相互关联关系，增加了档案管理工作的科技含量，为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段，充分发挥档案信息的经济价值和社会价值。

　　数字化档案管理通常以机房为中心，各客户端通过内部局域网或Internet发布进行访问。在多级综合网络中，内部主要包括：

　　1、档案收集：收集各种具有保存价值的文件、声像材料，各级机关、企事业单位公文、会议交流材料等。这一过程中需要各用户端搜集整理，并汇总到统一存储系统。

　　2、档案整理：主要包括分类、组卷、目录编制等工作，然后将各种档案进行数字化录入。这一过程同样可在采集数据存储系统中进行即可。

　　3、档案管理：利用各操作终端在专用的管理系统上对档案即时编辑管理。

　　4、档案利用：通过内部共享或WEB发布提供。强有力的容灾存储系统及全面的网络安全是数据安全的重要保障。

（2）、存储需求

　　由上述工作模式可见，整个平台需要存储系统满足以下要求：

1、需要存储能够支持文件全局共享

　　让档案的收集、整理、管理、利用等过程都有能够无缝衔接，所有业务服务器能够直接按需共享访问对应的档案文件，确保管理流程中相关档案文件不需要拷贝或者传输就能够进行无缝的访问管理。整个工作流程中的各阶段流程能够顺畅的进行，从而提高整体业务的运转效率。

2、需要存储提供较高的性能

　　从档案管理的业务发展方向来看，档案管理向着内容服务转变，档案文件的存储平台将会面临更多可能的访问和调用。为了能够更好的支持快速对海量的档案文件内容进行相关的编辑、管理和检索，充分利用档案的深入价值，就必须能够在海量的内容中快速的检索到需要的数据，这就要求存储系统必须具备较高的性能。如果存储系统的数据读写速度达不到需要的性能，那么档案信息平台将很难作为一个服务性的平台为更多的人和机构提供服务。

3、按需建设，在线扩展的大容量存储系统

　　由于档案内容的清晰度越来越高，文件越来越大，以及需要保存的档案项目也不断增多，导致整体的档案数据量非常大。如果不能将海量的档案数据进行较好的统一存储和管理，并且不能按需在线扩展施工，数据就被分散的存储到多个独立的存储系统内，导致后期信息平台管理过程浪费大量人力物力，也影响项目的进程。

4、需要高效支持海量文件

　　在档案的信息化流程中，海量的档案图片文件将会给存储系统带来巨大的压力。传统存储在这种大小文件混杂的情况下，访问性能会急剧降低，导致整个档案信息化平台运转效率低下，难以提供检索访问服务。

5、需要更高的数据安全性

　　传统的存储只能提供硬盘级的安全性保护，像RAID5同一时间最多只能允许一块硬盘出现损坏，RAID6同一时间只允许损坏两块硬盘，但是当总数据量达到数十、上百TB，使用大容量硬盘导致RAID重建的时间远远超过8个小时，硬盘连续出现故障的频率会更高，容易出现整个盘阵数据丢失的情况。

6、需要遵从法律法规

　　电子档案的存储和管理，需要符合相关法律法规要求，实现长期安全的保存，并且需要能够防止各种可能导致档案文件被破坏的事故。那么就要求存储系统自身具备良好的档案文件长期保存和管理的能力。

获取文档

一、应用背景

　　LoongStore大规模集群存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统，采用通用智能存储节点作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API 接口。LoongStore自推向市场以来，以其卓越的性能表现和易管理性，受到了各行业客户广泛好评。典型行业包括互联网、电信、广电、能源等。在未来的发展过程中，LoongStore将继续坚持以自主知识产权为核心，通过建立、完善公司产品技术，持续发掘团队创造力和积极性，以国内市场为基础，参与全球市场竞争，让世界认知中国高新科技的创新能力与价值。

三、龙存解决方案介绍

1、方案介绍

　　LoongStore是面向海量数据存储和高并发访问的应用而设计的大规模通用集群存储系统，采用通用智能存储节点作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API接口。LoongStore集群存储系统采用了完全的分布式架构，将存储服务器集群和元数据服务器集群通过高速以太网络构建，具备良好的扩展性和可靠性。利用LoongStore的相关软件功能消除集群内的单点故障，避免因为故障而导致服务中断或者数据丢失等影响，并且打破了传统存储系统容量、文件数量的种种限制。

　　龙存方案拓扑图如下：

　　LoongStore存储系统主要由元数据服务器集群、智能存储服务器集群两大部分组成。元数据服务器集群管理文件系统的元数据，管理整个存储系统的命名空间，对外提供单一的系统映像。智能存储服务器集群存储用户的实际数据，是整个LoongStore存储系统的存储资源提供者。

　　LoongStore LeoFS为大数据平台的通用存储层，可同时适用于离线hadoop分析+传统Posix生产场景+集群数据库场景；尤其适合海量非结构化数据的存储，比如图像、音视频、文档等文件。同时其可单独应用于存储虚拟化、云存储以及传统HPC高性能计算领域。

2、方案特点

（1）文件全局共享 LoongStore大规模集群存储系统提供PB级别的文件全局共享功能，所有业务服务器都可按需看到一致文件视图。数据的全局共享可以加强各服务器之间的协作，提高了业务的运行效率。而且数据的统一管理也方便用户数据的统一管理，并简化业务系统的开发。

（2）高效管理海量数据随着档案资料业务的增多，存储系统中将积累大量的数据，存储系统里面的文件数量也会快速增长。当存储系统内的文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。这就需要存储系统能够容纳海量的数据，而传统的存储系统都有单个存储卷容量大小的限制（如16TB/2TB）。

　　LoongStore的单卷可支持PB级的存储空间，高效的管理上百亿个文件，单目录可以高效支持千万级的文件数量。这些特性对于数据量较大又需要统一管理的应用非常重要。通过同时对于大文件、小文件都能够较好的支撑，方案中我们可以不需要在业务运转过程中有意识的区分大小文件的存储，而是可以统一将所有的文件数据进行存储和管理，从而达到简化管理的目的。

（3）、高数据读写性能

　　应用中多个服务器需要共享访问数据文件，在一些数据访问高峰期会给存储系统带来较大的IO压力。LoongStore集群存储系统通过多台存储服务器提供同时数据存取服务的方法以满足大量应用服务器的并发访问需求。在应用服务器端，当应用程序往存储系统上写文件时，文件将会被根据一定大小进行分片存放到多台存储服务器上；在应用程序读文件时，则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储服务器上，使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用，这样LoongStore集群存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成，从而克服了NAS的单一出口点所造成性能瓶颈，可以满足多台应用节点并发访问的带宽需求。

　　通过实现多存储服务器的并发数据访问支持，消除了传统存储系统中常见的负载不均导致的热点数据问题。LoongStore通过数据在存储服务器集群中的条带化分布实现高效、全面的负载均衡功能，充分利用硬件和网络的性能，发挥出极高IO吞吐量。在随着存储服务器规模不断扩展的情况下,聚合性能可以高达100GB/s。

（4）、高数据安全性

a、无单点故障

　　基于数据安全性方面的考虑，用户可以通过LoongStore配置工具设置数据相应的安全等级，选择将数据和校验数据分别存放在不同的存储服务器上。LoongStore存储系统可以同时使用多条高速数据通道，可消除网络层的单点故障，进一步提高系统的高可用性。在这样的情况下，即使出现存储服务器宕机、网络中断、磁盘损坏时，仍然能够保障数据完整性和数据服务的持续运行。例如，在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据，LoongStore集群存储系统将会立刻发现该异常并自发的启动数据恢复流程，利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。由于LoongStore的数据恢复是基于真实丢失的数据，并且数据恢复是通过整个存储集群同时并发进行，所以相对于传统的RAID技术具备更快的数据重建速度，这也能够有效提升数据的安全性。比如说750GB SATA硬盘的故障恢复速度不超过30分钟，为RAID重建时间的1/5。

　　通过将数据和校验数据存放在不同存储服务器的方法可以对一系列的软硬件故障（网络、主机、磁盘等）进行自动的隔离，消除了存储系统的任何单点故障，而且也无需配置任何复杂的配置。同时由于存储系统内的文件素材的访问权限实现了较好的安全策略，能够通过和域控服务器实现较好的结合，所有的目录或者文件的访问都会经过存储系统对于用户名的检查，确保文件是被正确的帐号访问，从而达到更好的数据安全性保密性。

b、实现WORM权限

　　LoongStore集群存储系统支持文件系统级别细致的权限管理，在完全支持传统存储的存储权限基础上，还根据不同的业务需求发展出了特殊的权限控制设置功能。比如能够控制以下权限：1. 是否可以删除文件；2. 是否可以重命名文件； 3. 是否可以修改文件内容；4. 是否可以追加文件内容；5. 是否允许只能创建、只能追加、能够读取的权限等；在上述详细的存储系统权限设置的功能背景下，能够实现支持业务系统WORM需求，满足“法规遵从”的概念，从而在高性能、高可扩展性的集群存储系统之上实现类似于磁带库的存储模式。

c、追溯和审计

　　LoongStore大规模集群存储系统能够支持详细记录档案文件的创建、删除的客户端的IP地址、时间等详细信息，从而实现从存储系统侧的档案文件更安全的管控，实现相关档案文件在存储系统内部过程的追溯和审计，提高档案存储和管理的安全性。

　　针对大数据应用平台环境中多用户、高并发读写的特点，除了支持标准操作系统权限机制之外，内置专用高强度权限管理机制，将权限细分为：读、写、非修改写、创建、删除、List和重命名等7个子权限，并可针对特定应用服务器节点或用户对某个文件或目录的访问进行随机动态组合，实现权限的细粒度灵活管理，确保所有用户数据的高度安全。

d、支持LAN-FREE备份

　　LoongStore集群存储系统支持在存储服务器中安装光纤HBA卡、备份软件，实现将数据直接从一台或者更多的存储服务器上直接将本集群存储系统内部的所有数据从光纤FC网络备份到磁带库中，实现LAN-FREE方式的数据直接备份效果，从而大幅度降低备份过程中对于局域网络的带宽资源消耗，减少备份操作对于业务系统的影像。

e、易在线动态扩展

　　LoongStore集群存储系统可以支持动态的扩展存储容量，而无需中断应用的运行。用户可以通过LoongStore的配置工具动态添加存储服务器以扩大系统的容量和规模，而且随着存储服务器数据的增多，整套系统的聚合带宽也会线性的增长，完全可以满足业务不断发展所产生的容量和性能需求。

　　工业标准的通用硬件良好的兼容性和可获得性方便了整套存储系统将来的使用和扩展，LoongStore支持在1小时内无缝的在线增加上百TB存储容量，确保业务系统的连续性。

f、易维护

　　LoongStore存储系统配有简单易用的图形化管理和监控界面，支持通过专用的安全通道进行远程配置和全系统监控，能够智能的发现各类软硬件故障并进行处理，减少了管理员的工作量。

　　LoongStore存储系统的设计是面向通用的硬件和软件环境，如使用通用的以太网络作为数据传输通道可以确保充分利用现有的环境，并且可以无需对环境做出任何修改。另外LoongStore能够直接支持Linux、Windows等常用的操作系统之间进行数据共享，无需对操作系统做任何修改，所以能够无缝的接入到企业现有的软硬件环境。