成功案例

一、背景

 

　　平安城市利用平安城市综合管理信息公共服务平台，包括城市内视频监控系统、数字化城市管理系统、道路交通等多个系统，利用市区级数据交换平台实现资源共享。系统前端数据通过视频监控系统采集并传输到市、区监督指挥调度中心。监督指挥调度中心管理平台由数据库服务器、存储服务器、管理服务器、报警服务器、调度控制服务器、流媒体服务器、Web服务器、显示服务器和其他应用服务器组成。硬件中除服务器外，还包括各种监控终端、安防产品、为了增加网络覆盖而增加的网络产品、基层组织监控用的计算机设备等，这些产品的需求随着平安城市系统覆盖范围的增加而快速增长。而软件解决方案除操作系统、数据库等系统软件外，还包括各种监控管理平台、流媒体软件、监控软件、智能交通系统、电子警察系统等。平安城市利用平安城市综合管理信息公共服务平台，包括城市内视频监控系统、数字化城市管理系统、道路交通等多个系统，利用市区级数据交换平台实现资源共享。系统前端数据通过视频监控系统采集并传输到市、区监督指挥调度中心。全国城市报警与监控系统是目前建设平安城市的重要组成。平安城市综合管理信息公共服务平台城市内视频监控系统、数字化城市管理系统、道路交通等多个系统，利用市区级数据交换平台实现资源共享。

 

　　不少平安城市的视频监控项目中有成千上万个高清摄像头，拍摄的码流有普通的1.5Mb/s和高清的4Mb/s、8Mb/s等，监控数据会保存很长一段时间以便事后检查和调用。在这样一个发展下，平安城市预计整体的数据量会超过PB级，同时视频的数据量还会随着摄像头的不断增多、码流的提升而快速增长。作为信息基础架构的存储平台将是直接面对海量视频的存储挑战，以及大量摄像头的并发视频流写入的压力。

 

二、安防视频存储需求特点

 

 

1、让多个服务器/工作站能够按需访问视频内容：

 

　　视频监控中心的多个服务器之间存在一定的协同和内容调用，如果存储平台能够满足服务器之间同时调用相关视频内容的要求，那么将会简化这个业务系统的开发和管理维护。

 

2、支持超过数万个摄像头并发写入任务，需要高并发性能：

 

　　每个摄像头需要1.5Mb/s或4Mb/s、8Mb/s。摄像头同时写入数据就需要GB/s级别的稳定带宽，可见对于存储系统的性能要求比较高。如果存储系统的数据并发写速度达不到该性能指标，视频写入会处于等待状态，导致整套系统无法正常运行。

 

3、按需建设，在线扩展的大容量存储系统：

 

　　由于视频拍摄的清晰度越来越高，视频文件也越来越大，整体视频数据将会不断增长。为了避免将新增长的数据就被分散的存储到多个独立的存储系统内，要求存储系统能支持数百PB统一存储，并且能够按需在线扩容，避免业务因为扩容而中断。

 

4、更高的数据安全性：

 

　　当视频存储平台越来越大时，安全性问题也会越来越突出。 如果使用传统的存储方案只能提供柜内硬盘级的安全性保护，像RAID5同一时间最多只能允许一块硬盘出现损坏，RAID6同一时间只允许损坏两块硬盘，但是当总数据量达到数千TB，使用大容量硬盘导致RAID重建的时间远远超过8个小时，那么硬盘连续出现故障的频率会更高，容易出现整个盘阵数据丢失的情况。所以在该项目中的存储方案必须能够允许整个存储柜子损坏而不影响数据完整性和业务连续性。

 

三、存储解决方案

 

　　目前的存储方案有四种类型：直连存储（DAS）、网络区域存储（NAS）、存储区域网络（SAN），以及近几年发展起来的集群存储（Clustered Storage）。每种方案类型具备各自的一些特点，其中属于网络存储的NAS、SAN都由于其架构特点更多应用在数据量在数十TB，并发访问量在20台以下的环境中，如数据库之类的应用，但是一旦数据达到了成百上千TB量级，并且有上千个并发数据访问，传统的SAN、NAS类似集中式架构就会出现瓶颈。

 

　　在大数据量、高并发访问的业务需求发展背景下，国外的谷歌、亚马逊等企业都采用了类似集群存储理念的技术架构来提升系统的灵活性，支撑起数千TB、上千个计算机并发访问的业务平台。集群存储已经快速发展成为和NAS、NAS并列的一种技术架构，成为面向海量数据时的重要选择。研发团队源自中科院集群存储系统研发生产的企业，已经将旗舰产品LoongStore集群存储系统应用在了海量视频存储业务中，得到了大量的应用实践和效果。

 

　　LoongStore是面向海量数据存储和高并发访问的应用而设计的大规模通用集群存储系统，采用通用智能存储节点作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API接口。

 

　　LoongStore存储系统主要由元数据服务器集群、智能存储服务器集群两大部分组成，采用了完全的分布式架构，将存储服务器集群和元数据服务器集群通过高速以太网络构建，两部分集群都具备良好性能、扩展性和可靠性。利用LoongStore的高可用软件功能消除集群内的设备级单点故障，避免因为故障而导致服务中断或者数据丢失等影响，并且打破传统存储系统容量、文件数量的种种限制，满足了视频监控系统对存储的连续性、安全性、数据完整性、可靠性要求。