一、数字媒体存储需求特点与方案

 

1、业务应用特征

 

　　数字媒体业务需要实现数字媒体内容的存储、管理、共享、迁移等，实现内容集成运营平台的音视频节目、资料等媒体资产的数字化管理，解决音视频等多媒体数据资料的编目管理、检索查询、非编素材转码、发布、工作流程管理等问题。

 

　　由于存储系统将成为整个平台的重要支撑，必须满足内容管理系统指定创建、挖掘、存储、管理、应用、发布各种形式信息的要求，为内容管理系统提供数据的存放与调度的集中硬件环境，以高效的保存和利用媒体资产。

 

2、存储需求特点

 

　　由上述工作模式可见，整个平台需要存储系统具备以下几个特点：

 

(1) 让所有制作人员和程序能够直接共享访问，需要文件全局共享：

　　确保管理流程中素材相关文件不需要拷贝或者传输就能够进行无缝的共享，让整个工作流程中的各阶段流程能够顺畅的进行，从而提高整体业务的运转效率。

 

(2) 支持更多的检索、转码、发布等任务，需要较高的性能：

　　为了能够更好的支持快速对海量的数字媒体内容进行相关的管理和检索，充分利用媒体资产的深入价值，就必须能够在海量的内容中快速的检索到需要的数据，这就要求存储系统必须具备较高的性能。如果存储系统的数据读写速度达不到40Gb/s，那么管理工作站的CPU就会处于等待状态，导致业务运行效率低下，流程进展缓慢。

 

(3) 按需建设，在线扩展的大容量存储系统：

　　由于媒资资产的清晰度越来越高，文件也越来越大，那么整体的数据量就非常大，如果不能将海量的数据进行较好的统一存储和管理起来，并且不能按需在线扩展施工，数据就被分散的存储到多个独立的存储系统内，导致后期制作过程浪费大量人力物力，也影响项目的进程。

 

(4) 无缝融合到现有环境，不修改现有的业务环境：

　　为了能够充分的利用现有的硬件和网络，存储系统必须充分兼容现有体系，包括硬件、网络、软件体系等。

 

(5) 大文件、小文件混杂，对存储系统压力非常大：

　　在制作过程中，会有很多的高清视频，可能有数十MB，大的甚至有数十GB；同时也会有海量的图片相关素材。传统存储在这种大小文件混杂的情况下，如果需要将大文件、小文件分开存储，就需要数据归类和迁移，给管理维护带来困难。

 

(6) 更高的数据安全性：

　　普通的方案只能提供硬盘级的安全性保护，像RAID5同一时间最多只能允许一块硬盘出现损坏，RAID6同一时间只允许损坏两块硬盘，但是当总数据量达到数千TB，使用大容量硬盘导致RAID重建的时间远远超过5个小时，那么硬盘连续出现故障的频率会更高，容易出现整个盘阵数据丢失的情况。

 

3、存储解决方案

 

　　目前的存储方案有四种类型：直连存储（DAS）、网络区域存储（NAS）、存储区域网络（SAN），以及近几年发展起来的集群存储（Clustered Storage）。每种方案类型具备各自的一些特点，其中属于网络存储的NAS、SAN都由于其架构特点更多应用在数据量在数十TB，并发访问量在20台以下的环境中，如数据库之类的应用，但是一旦数据达到了百TB级，并且有上百个工作站并发访问，SAN、NAS这种集中式架构就会出现瓶颈。

 

传统存储方案分析

 

　　结合在媒体资产存储管理过程中对于存储系统容量、安全性、扩展性方面的强烈需求，我们可以来分析传统的SAN或者NAS在这个环境里面的应用特点：

 

SAN：

　　SAN提供通过高速光纤通道或者以太网络给应用的是块级访问接口。在应用端看到的是一块硬盘，实际使用时需要进行格式化处理或者另外配置管理软件。SAN具有如下几个特点：

 

(1) 不能文件共享

　　该方案相比直连盘阵（DAS）更具灵活性和可扩展性，SAN不能支持文件级共享。在具有海量素材文件的环境中，不能文件共享的SAN会给管理维护带来巨大的成本，同时也会影响业务运行的效率。所以SAN更加适合作为数据库这类不需要文件共享而需要较低延时的结构化数据存储。

 

(2) 使用维护复杂

　　SAN使用了大量专用、复杂的硬件，这就需要较高的系统构建成本、运营维护成本，兼容性的问题也会对系统将来的升级带来不便。

 

NAS：

　　NAS是一种较为简易的文件共享解决方案。通过NFS/CIFS协议给前端应用提供全局的文件共享，来满足多应用服务器之间的业务协作。在具有大量数据，并且有高并发的环境中：

 

(1) 性能瓶颈

　　NAS以集中式数个NAS机头的方式为应用提供存储服务，其性能受限于该服务器的配置，其总带宽一般不超过500MB/s。在业务访问量较大的情况下，往往会需要超过2GB/s的带宽，那么NAS将很快成为业务的性能瓶颈。NAS即便使用多台NAS机头同时提供服务，但是其数量极为有限，导致其性能受限于NAS机头的数量。

 

(2) 容量限制

　　NAS也存在最大存储容量（如数百TB）、单卷存储容量（如数十TB）、文件数量（如数百万）等诸多限制。在数据不断增长的情况下，这些限制将会给数据的统一管理维护带来不少困难。

 

 

 

二、龙存科技解决方案介绍

 

 

　　在大数据量、高并发访问的业务需求发展背景 下，国外的谷歌、亚马逊等企业都采用了类似集群存储理念的技术架构来提升系统的灵活性，支撑起数千TB、上千个计算机并发访问的业务平台。集群存储已经快速发展成为和NAS、NAS并列的一 种技术架构，成为面向海量数据时的重要选择。研发团队源自中科院的龙存科技作为2002年开始从事集群存储系统研发生产的企业，已经将旗舰产品LoongStore集群存储系统应用在了影视动漫后期制作过程中，得到了大量的应用实践和效果。

 

龙存集群存储方案介绍

 

　　LoongStore是面向海量数据存储和高并发访问的应用而设计的大规模通用集群存储系统，采用通用智能存储节点作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API接口。

 

　　LoongStore集群存储系统采用了完全的分布式架构，将存储服务器集群和元数据服务器集群通过高速以太网络构建，具备良好的扩展性和可靠性。利用LoongStore的相关软件功能消除集群内的单点故障，避免因为故障而导致服务中断或者数据丢失等影响，并且打破了传统存储系统容量、文件数量的种种限制。

 

 

 

　　LoongStore存储系统主要由应用服务器集群、元数据服务器集群、智能存储服务器集群三大部分组成。元数据服务器集群管理文件系统的元数据，管理整个存储系统的命名空间，对外提供单一的系统映像。智能存储服务器集群存储用户的实际数据，是整个LoongStore存储系统的存储资源提供者。

 

龙存科技存储方案特点

 

文件全局共享

 

　　LoongStore大规模集群存储系统提供文件全局共享功能，所有计算节点都可看到一致文件系统视图。数据的全局共享可以加强各计算节点之间的协作，提高了作业的运行效率。而且数据的统一管理也方便用户数据的统一管理，并简化应用系统的开发。

 

海量数据高效管理

 

　　随着资料处理业务的增多，存储系统中将积累大量的数据，存储系统里面的文件数量也会快速增长。当存储系统内的文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。这就需要存储系统能够容纳海量的数据，而传统的存储系统都有单个存储卷容量大小的限制（如16TB/2TB）。

 

　　在访问大文件时，读写过程往往需要高带宽，LoongStore集群存储系统可以将大文件切分为数个小切片对象，将这些小的切片对象分布到不同的存储设备上从而达到均衡访问压力的效果，即使在带宽不足时也能够扩展更多的存储设备来提升对于大文件的访问能力。在访问小文件时，对于海量文件的检索查找往往会是存储系统的压力所在，LoongStore则通过扩展管理文件检索信息的元数据服务器来提升文件的查找效率，消除可能存在的瓶颈。在实际案例中，LoongStore有通过构建超过10台元数据服务器来支撑上百亿的海量小文件，获得了非常高的文件查找速度。

 

　　单卷可支持EB级的存储空间，高效的管理上百亿个文件，单目录可以高效支持千万级的文件数量。这些特性对于数据量较大又需要统一管理的应用非常重要。通过同时对于大文件、小文件都能够较好的支撑，方案中我们可以不需要在业务运转过程中有意识的区分大小文件的存储，而是可以统一将所有的文件数据进行存储和管理，从而达到简化管理的目的。

 

数据读写性能

 

　　应用中多个工作站需要共享访问数据文件，在一些数据访问高峰期会给存储系统带来较大的IO压力。LoongStore集群存储系统通过多台存储服务器提供同时数据存取服务的方法以满足大量应用服务器的并发访问需求。在应用服务器端，当应用程序往存储系统上写文件时，文件将会被根据一定大小进行分片存放到多台存储服务器上；在应用程序读文件时，则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储服务器上，使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用，这样LoongStore集群存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成，从而克服了NAS的单一出口点所造成性能瓶颈，可以满足多台应用节点并发访问的带宽需求。

 

　　通过实现多存储服务器的并发数据访问支持，消除了传统存储系统中常见的负载不均导致的热点数据问题。LoongStore通过数据在存储服务器集群中的条带化分布实现高效、全面的负载均衡功能，充分利用硬件和网络的性能，发挥出更高IO吞吐量。

 

数据安全性

 

　　基于数据安全性方面的考虑，用户可以通过LoongStore配置工具设置数据相应的安全等级，选择将数据和校验数据分别存放在不同的存储服务器上。LoongStore存储系统可以同时使用多条高速数据通道，可消除网络层的单点故障，进一步提高系统的高可用性。在这样的情况下，即使出现存储服务器宕机、网络中断、磁盘损坏时，仍然能够保障数据完整性和数据服务的持续运行。例如，在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据，LoongStore集群存储系统将会立刻发现该异常并自发的启动数据恢复流程，利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。由于LoongStore的数据恢复是基于真实丢失的数据，并且数据恢复是通过整个存储集群同时并发进行，所以相对于传统的RAID技术具备更快的数据重建速度，这也能够有效提升数据的安全性。

 

　　通过将数据和校验数据存放在不同存储服务器的方法可以对一系列的软硬件故障（网络、主机、磁盘等）进行自动的隔离，消除了存储系统的任何单点故障，而且也无需配置任何复杂的配置。同时由于存储系统内的文件素材的访问权限实现了较好的安全策略，能够通过和域控服务器实现较好的结合，所有的目录或者文件的访问都会经过存储系统对于用户名的检查，确保文件是被正确的帐号访问，从而达到更好的数据安全性保密性。

 

可动态扩展性

 

　　LoongStore集群存储系统可以支持动态的扩展存储容量，而无需中断应用的运行。用户可以通过LoongStore的配置工具动态添加存储服务器以扩大系统的容量和规模，而且随着存储服务器数据的增多，整套系统的聚合带宽也会线性的增长，完全可以满足业务不断发展所产生的容量和性能需求。 工业标准的通用硬件良好的兼容性和可获得性方便了整套存储系统将来的使用和扩展，LoongStore支持在1小时内无缝的在线增加上百TB存储容量，确保业务系统的连续性。

 

系统可维护性

 

　　LoongStore存储系统配有简单易用的图形化管理和监控界面，支持通过专用的安全通道进行远程配置和全系统监控，能够智能的发现各类软硬件故障并进行处理，减少了管理员的工作量。

 

与现有环境无缝兼容

 

　　LoongStore存储系统的设计是面向通用的硬件和软件环境，如使用通用的以太网络作为数据传输通道可以确保充分利用现有的环境，并且可以无需对环境做出任何修改。另外LoongStore能够直接支持Linux、Windows等常用的操作系统之间进行数据共享，无需对操作系统做任何修改，所以能够无缝的接入到企业现有的软硬件环境。

 

系统的整体拥有成本

 

　　LoongStore大规模集群存储系统能够极大的降低构建和运维成本，主要有以下几点：

 

a.极大地提高了数据可用性

 

　　通过LoongStore内置的高可用和故障自动恢复功能等卓越的功能，极大减少了系统由于维护或备份恢复所需的大量时间，从而彻底提高了企业的生产效率。

 

b.数据的充分共享

 

　　数据可以被前端的各种类型的主机共享，无需在Linux和Windows系统之间进行数据迁移。这允许一个数据拷贝被所有人员与进程共享，大大减少了对不同环境下相同的数据的多种形式的管理费用。

 

c.存储的运维成本

 

　　由于LoongStore采用了通用、企业级的硬件构建，具有极高的性价比和兼容性。管理员可以轻易的掌握LoongStore的运维管理，使得培训支出上的费用大大减少。