联系方式:010-82374884

- 分布式存储 -

网络存储技术从诞生到现在,已经经历了近二十年的历程。在这个过程中,无论是计算技术、网络通信技术还是信息储存技术都发生了翻天覆地的变化。计算技术领域,基于开放操作系统上的集群计算技术已经取代大型机;网络通信领域,开放架构的TCP/IP通信已经统治了一切;在信息存储技术上,单块磁盘的容量已经从G级别进入T级别。传统的网络存储设备,无论是FC-SAN、NAS还是IP-SAN,都是采用以满足单台服务器存储需要为目标的体系设计,在共享能力、性能、可靠性、扩展性以及总体拥有成本上,已经无法满足企业新的应用需求。如果仅仅通过外围手段来弥补,必将造成存储架构越来越复杂,用户管理难度越来越大,总体拥有成本越来越高。为了满足IT技术发展的挑战,龙存集群存储采用了代表计算技术、网络通信技术以及文件 系统技术发展方向的体系架构,提供给用户跨平台共享、高性能、高可靠、可平滑扩展、使用和维护简单的高端存储系统。系统以开放架构平台智能存储服务器为基本节点,通过在千兆以太网基础上不受限制地添加节点,构成了业界最高的性能、可靠性以及极低总体拥有成本的存储集群,且可进行存储利旧,将用户原有的IP-SAN和FC-SAN存储阵列融入到分布式存储系统当中,合并存储空间,保证用户现有投资。软件著作权以及3C认证如下:

软件著作权:

LoongStore集群存储系统是一款拥有百分之百国内自主知识产权,针对海量数据存储应用而设计研发的大规模通用集群存储系统,它通过虚拟化技术、分布式存储技术以及集群技术将海量的通用服务器虚拟成一个容量可达EB、性能高于数百GB/s、具有的高扩展性的共享硬盘,为前端提供高并发以及多应用的统一式存储平台,为企业搭建数据存储坚实的地基。龙存分布式文件系统为软件一体化模块化设计,软件部分为:LoongStore大规模集群存储系统实现,硬件部分为:ISTORE1200。

核心价值:

产品体系:
产品名称:LoongStore大规模集群存储系统(LS3600)
产品描述:最小规模包含2个M200节点(元数据服务器)和3个IS3600节点(数据存储服务器)。针对海量数据存储应用而设计,采用通用硬件作为基本的构建单元,为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口(POSIX兼容)。
协议支持:NFS/CIFS/LeoFS/FTP/HDFS/HTTP/LeoSAN/S3/Swift等协议
产品名称:LoongStore大规模集群存储系统(LS2400)
产品描述:基本描述:最小规模包含2个M200节点(元数据服务器)和3个IS2400节点(数据存储服务器)。针对海量数据存储应用而设计,采用通用硬件作为基本的构建单元,为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口(POSIX兼容)。
协议支持:NFS/CIFS/LeoFS/FTP/HDFS/HTTP/LeoSAN/S3/Swift等协议
产品名称:LoongStore大规模集群存储系统(LS1200)
产品描述:最小规模包含2个M200节点(元数据服务器)和3个IS1200节点(数据存储服务器)。针对海量数据存储应用而设计,采用通用硬件作为基本的构建单元,为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口(POSIX兼容)。
协议支持:NFS/CIFS/LeoFS/FTP/HDFS/HTTP/LeoSAN/S3/Swift等协议
产品名称:LoongBox 存储一体机(LB2400)
产品描述:该产品实现了底层存储资源池化,能同时拥有NAS、IPSAN、对象存储、企业云盘、备份机等5个功能。
应用场景:适用于小规模企业网盘、视频监控、备份一体机、文件库、数据库等场景。

- 私有云网盘 -

LoongDisk私有云存储系统是针对于企业办公数据快速分享以及存储需求而研发的私有云存储网盘系统,此网盘系统可让用户通过各种终端设备与网络随时随地的安全管理和获取文件,提供全局数据加密以及权限管控机制,在保证数据绝对安全的前提下,实现文件零耗时的一键共享,降低企业用户在办公过程中产生的文件交互的时间成本,提升企业整体协同办公效率。

核心价值:
● 数据集中存储与管理:所有数据全部存储在后端分布式存储系统当中,进行集中存储以及管理,用户本地不会缓存任何文件,即用户对数据操作完全在云端进行,真正的实现了移动办公云。

● 全局加密与权限管控:系统自带加密算法,可以将文件每512字节进行一次加密,保证数据在网络传输过程中即使被人恶意获取也无法查看文件信息,且系统中除了用户本人以及授权人员之外,即使系统管理员也无法在后端非法查看文件。

● 提升协同办公效率:系统自建部门以及工作组机制,可以根据用户需求自行搭建工作组,方便项目组之间分享数据以及数据交互,多终端异地移动办公:可支持android、iphone、ipad、pc、web等多种终端进行数据分享以及访问,且多数据中心机制,可支持搭建多处数据中心,实现就近访问原则,加速办公效率。

- 存储一体机 -

LoongStore F系列智能高端存储设备是龙存科技在具备集群存储系统研发以及大规模应用经验的基础上,采用标准硬件与私有软件架构设计,面向高性能、高安全、高兼容性需求而推出的统一存储系统,能够支持NFS/CIFS/ISCSI等多种标准文件系统协议、块协议,底层基于了LeoFS以及LeoRAID的核心算法构建,支持在线扩容、数据动态迁移,有效满足用户百T规模存储系统的使用需求,保护用户投资,为用户提供多样、简单智能化的存储平台。

产品特点:
● 读写带宽:根据用户对性能不同需求,提供600MB/s-24000MB/s性能;
● 安全性:私有容错算法,硬盘重建速度快于传统RAID 5倍,全镜像HA数据保护方式;
● 检索效率:海量小文件每秒随机检索性能5万文件/s;
● 统一设备:同一设备支持多平台访问协议;
● 混合池:支持对不同类型的磁盘进行分区提高使用效率;
● 管理:简易管理平台,移动存储理念,即插即用;
● 易用性:结构化数据、非结构化数据统一存储平台;
● 性价比:通用硬件架构,高效,价格可控。

- 容灾备份 -

LeoSync同步备份系统主要针对多数据中心之间的远程备份容灾进行了优化,让备份变得更简单,实现多个数据中心之间可配置的数据同步,实现同步文件的各种属性保证一致并实现高性能传输,传输速度优于传统数据同步软件。

具体功能包括:
● 大文件分片多线程传输、小文件打包传输、动态检测是否压缩传输;
● 加密传输;
● 断点续传;
● 大文件检测delta传输,实现数据传输的消重;
● 文件正确性校验;
● 可配置的多数据中心支持,支持指定内容的多重备份同步;
● 多平台支持,可运行于各种Linux平台;
● 功能参数可动态在线调整。比如:是否删除数据源文件、同步带宽限制、是否delta检测、是否压缩等。

RAID

RAID简介

RAID是独立冗余磁盘阵列。冗余磁盘阵列技术诞生于1987年,由美国加州大学伯克利分校提出。简单地解释,就是将N块硬盘通过RAID 结合成虚拟单台大容量的硬盘使用。RAID的采用为存储系统(或者服务器的内置存储)带来巨大利益,其中提高传输速率和提供容错功能是最大的优点。其特色是N台硬盘同时读取速度加快及提供容错性,所以RAID是当成平时主要访问数据的存储速度问题(Storage)不是备份问题(Backup Solution)。
简单的说,RAID是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从而提供比单个硬盘更高的存储性能和提供数据备份技术。组成磁盘阵列的不同方式成为RAID级别(RAID Levels)。

EDAP   

在RAID有一基本概念称为EDAP(Extended Data Availability and Protection),其强调扩充性及容错机制,包括在不须停机情况下可处理以下动作:

1.RAID 磁盘阵列支援自动检测故障硬盘;

2.RAID 磁盘阵列支援重建硬盘坏轨的资料;

3.RAID 磁盘阵列支援支持不须停机的硬盘备援;

4.RAID 磁盘阵列支援支持不须停机的硬盘替换;

5.RAID 磁盘阵列支援扩充硬盘容量等。

RAID 的种类

基于不同的架构,RAID 的种类又可以分为: 软件RAID (软件RAID) ,硬件RAID (硬件RAID) ,外置RAID (External RAID) 。

软件RAID很多情况下已经包含在系统之中,并成为其中一个功能,如 Windows、Netware及Linux。软件RAID中的所有操作皆由中央处理器负责,所以系统资源的利用率会很高,从而使系统性能降低。软件RAID是不需要另外添加任何硬件设备,因为它是靠你的系统—主要是中央处理器的功能—提供所有现成的资源。 硬件RAID通常是一张PCI卡,你会看到在这卡上会有处理器及内存。因为这卡上的处理器已经可以提供一切RAID所需要的资源,所以不会占用系统资源,从而令系统的表现可以大大提升。

硬件RAID的应用之一是可以连接内置硬盘、热插拔背板或外置存储设备。无论连接何种硬盘,控制权都是在RAID卡上,亦即是由系统所操控。 在系统里,硬件RAID PCI卡通常都需要安驱动程序,否则系统会拒绝支持。 磁盘阵列可以在安装系统之前或之后产生,系统会视之为一个(大型)硬盘,而它具有容错及冗余的功能。磁盘阵列不单只可以加入一个现成的系统,它更可以支持容量扩展,方法也很简单,只需要加入一个新的硬盘并执行一些简单的指令,系统便可以实时利用这新加的容量。

外置式RAID也是属于硬件RAID的一种,区别在于RAID卡不会安装在系统里,而是安装在外置的存储设备内。而这个外置的储存设备则会连接到系统的SCSI卡上。系统没有任何的RAID功能, 因为它只有一张SCSI卡;所有的RAID功能将会移到这个外置存储里。好处是外置的存储往往可以连接更多的硬盘,不会受系统机箱的大小所影响。而一些高级的技术,如双机容错,是需要多个服务器外连到一个外置储存上,以提供容错能力.外置式RAID的应用之一是可以安装任何的操作系统,因此是与操作系统无关的。因为在系统里只存在一张SCSI卡,并不是RAID卡。而对于这个系统及这张SCSI卡来说,这个外置式的RAID只是一个大型硬盘,并不是什么特别的设备,所以这个外置式的RAID可以安装任何的操作系统。唯一的要求就是你用的这张SCSI卡在这个操作系统要安装驱动程序。

RAID按照实现原理的不同分为不同的级别,不同的级别之间工作模式是有区别的。整个的RAID结构是一些磁盘结构,通过对磁盘进行组合达到提高效率,减少错误的目的。为了便于说明,下面示意图中的每个方块代表一个磁盘,竖的叫块或磁盘阵列,横称之为带区。RAID的主要分类包括:RAID 0无差错控制的带区组、RAID 1镜象结构、RAID2带海明码校验、RAID3带奇偶校验码的并行传送、RAID4带奇偶校验码的独立磁盘结构、RAID5分布式奇偶校验的独立磁盘结构、RAID6两种存储的奇偶校验码的磁盘结构、RAID7优化的高速数据传送磁盘结构、RAID10/01高可靠性与高效磁盘结构、RAID 50:被称为分布奇偶位阵列条带。

RAID的主要优点有:

1.RAID的采用为存储系统(或者服务器的内置存储)带来巨大利益,其中提高传输速率和提供容错功能是最大的优点。

2.RAID通过同时使用多个磁盘,提高了传输速率。RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量。在RAID中,可以让很多磁盘驱动器同时传输数据,而这些磁盘驱动器在逻辑上又是一个磁盘驱动器,所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍的速率。这也是RAID最初想要解决的问题。因为当时CPU的速度增长很快,而磁盘驱动器的数据传输速率无法大幅提高,所以需要有一种方案解决二者之间的矛盾。RAID最后成功了。

3.通过数据校验,RAID可以提供容错功能。这是使用RAID的第二个原因,因为普通磁盘驱动器无法提供容错功能,如果不包括写在磁盘上的CRC(循环冗余校验)码的话。RAID容错是建立在每个磁盘驱动器的硬件容错功能之上的,所以它提供更高的安全性。在很多RAID模式中都有较为完备的相互校验/恢复的措施,甚至是直接相互的镜像备份,从而大大提高了RAID系统的容错度,提高了系统的稳定冗余性。

NFS

NFS简介

网络文件系统(NFS)是文件系统之上的一个网络抽象,允许远程客户端以与本地文件系统类似的方式,来通过网络进行访问。目前它已经发展并演变成 UNIX/Linux系统中最强大最广泛使用的网络文件系统。NFS 允许在多个用户之间共享公共文件系统,并提供数据集中的优势,来最小化所需的存储空间。从 1984 年问世以来持续演变,并已成为分布式文件系统的基础。当前,NFS(通过 pNFS 扩展)通过网络对分布的文件提供可扩展的访问。

NFS 的发展历程   

NFS 是第一个现代网络文件系统(构建于 IP 协议之上)。在 20 世纪 80 年代,它首先作为实验文件系统,由 Sun Microsystems 在内部完成开发。NFS 协议已归档为 Request for Comments(RFC)标准,并演化为大家熟知的 NFSv2。作为一个标准,由于 NFS 与其他客户端和服务器的互操作能力而发展快速。标准持续地演化为 NFSv3,在 RFC 1813 中有定义。这一新的协议比以前的版本具有更好的可扩展性,支持大文件(超过2GB),异步写入,以及将TCP作为传输协议,为文件系统在更广泛的网络中使用铺平了道路。在 2000 年,RFC 3010(由 RFC 3530 修订)将 NFS 带入企业设置。Sun 引入了具有较高安全性,带有状态协议的 NFSv4(NFS 之前的版本都是无状态的)。今天,NFS 是版本 4.1(由 RFC 5661 定义),它增加了对跨越分布式服务器的并行访问的支持(称为 pNFS extension)。

  

NFS 的时间表,包括记录其特性的特定 RFC ,都在图 1 中有展示。

NFS 已经历了近30年的开发。它代表了一个非常稳定的(及可移植)网络文件系统,它可扩展、高性能、并达到企业级质量。由于网络速度的增加和延迟的降低,NFS 一直是通过网络提供文件系统服务具有吸引力的选择。甚至在本地网络设置中,虚拟化驱动存储进入网络,来支持更多的移动虚拟机。NFS 甚至支持最新的计算模型,来优化虚拟的基础设施。

NFS 允许计算的客户 — 服务器模型(见图 2)。服务器实施共享文件系统,以及客户端所连接的存储。客户端实施用户接口来共享文件系统,并加载到本地文件空间当中。
图 2. NFS 的客户端 — 服务器架构

在 Linux中,虚拟文件系统交换(VFS)提供在一个主机上支持多个并发文件系统的方法(比如 CD-ROM 上的 International Organization for Standardization [ISO] 9660,以及本地硬盘上的 ext3fs )。VFS 确定需求倾向于哪个存储,然后使用哪些文件系统来满足需求。由于这一原因,NFS 是与其他文件系统类似的可插拔文件系统。对于 NFS 来说,唯一的区别是输入/输出(I/O)需求无法在本地满足,而是需要跨越网络来完成。

一旦发现了为 NFS 指定的需求,VFS 会将其传递给内核中的 NFS 实例。 NFS 解释 I/O 请求并将其翻译为 NFS 程序(OPEN、ACCESS、CREATE、READ、CLOSE、REMOVE 等等)。这些程序,归档在特定 NFS RFC 中,指定了 NFS 协议中的行为。一旦从 I/O 请求中选择了程序,它会在远程程序调用(RPC)层中执行。正如其名称所暗示的,RPC 提供了在系统间执行程序调用的方法。它将封送 NFS 请求,并伴有参数,管理将它们发送到合适的远程对等级,然后管理并追踪响应,提供给合适的请求者。

进一步来说,RPC 包括重要的互操作层,称为外部数据表示(XDR),它确保当涉及到数据类型时,所有 NFS 参与者使用相同的语言。当给定架构执行请求时,数据类型表示可能不同于满足需求的目标主机上的数据类型。XDR 负责将类型转换为公共表示(XDR),便于所有架构能够与共享文件系统互操作。XDR 指定类型字节格式(比如 float)和类型的字节排序(比如修复可变长数组)。虽然 XDR 以其在 NFS 中的使用而闻名,当您在公共应用程序设置中处理多个架构时,它是一个有用的规范。

一旦 XDR 将数据转换为公共表示,需求就通过网络传输给出传输层协议。早期 NFS 采用 Universal Datagram Protocol(UDP),但是,今天 TCP 因为其优越的可靠性而更加通用。在服务器端,NFS 以相似的风格运行。需求到达网络协议栈,通过 RPC/XDR(将数据类型转换为服务器架构) 然后到达 NFS 服务器。NFS 服务器负责满足需求。需求向上提交给 NFS 守护进程,它为需求标示出目标文件系统树,并且 VFS 再次用于在本地存储中获取文件系统。整个流程在图 3 中有展示。注意,服务器中的本地文件系统是典型的 Linux 文件系统(比如 ext4fs)。因此,NFS 不是传统意义上的文件系统,而是访问远程文件系统的协议。
图 3. 客户端和服务器 NFS 堆栈

对于高延迟网络,NFSv4 实现称为 compound procedure 的程序。这一程序从本质上允许在单个请求中嵌入多个 RPC 调用,来最小化通过网络请求的 transfer tax。它还为响应实现回调模式。

NFS 协议

从客户端的角度来说,NFS 中的第一个操作称为 mount。 Mount 代表将远程文件系统加载到本地文件系统空间中。该流程以对 mount(Linux 系统调用)的调用开始,它通过 VFS 路由到 NFS 组件。确认了加载端口号之后(通过 get_port 请求对远程服务器 RPC 调用),客户端执行 RPC mount 请求。这一请求发生在客户端和负责 mount 协议(rpc.mountd)的特定守护进程之间。这一守护进程基于服务器当前导出文件系统来检查客户端请求;如果所请求的文件系统存在,并且客户端已经访问了,一个 RPC mount 响应为文件系统建立了文件句柄。客户端这边存储具有本地加载点的远程加载信息,并建立执行 I/O 请求的能力。这一协议表示一个潜在的安全问题;因此,NFSv4 用内部 RPC 调用替换这一辅助 mount 协议,来管理加载点。

要读取一个文件,文件必须首先被打开。在 RPC 内没有 OPEN 程序;反之,客户端仅检查目录和文件是否存在于所加载的文件系统中。客户端以对目录的 GETATTR RPC 请求开始,其结果是一个具有目录属性或者目录不存在指示的响应。接下来,客户端发出 LOOKUP RPC 请求来查看所请求的文件是否存在。如果是,会为所请求的文件发出 GETATTR RPC 请求,为文件返回属性。基于以上成功的 GETATTRs 和 LOOKUPs,客户端创建文件句柄,为用户的未来需求而提供的。

利用在远程文件系统中指定的文件,客户端能够触发 READ RPC 请求。READ 包含文件句柄、状态、偏移、和读取计数。客户端采用状态来确定操作是否可执行(那就是,文件是否被锁定)。偏移指出是否开始读取,而计数指出所读取字节的数量。服务器可能返回或不返回所请求字节的数量,但是会指出在 READ RPC 回复中所返回(随着数据)字节的数量。

NFS 中的变革

在 NFSv4 之前,存在一定数量的辅助协议用于加载、锁定、和文件管理中的其他元素。NFSv4 将这一流程简化为一个协议,并将对 UDP 协议的支持作为传输协议移除。NFSv4 还集成支持 UNIX 和基于 Windows的文件访问语义,将本地集成 NFS 扩展到其他操作系统中。

NFSv4.1 介绍针对更高扩展性和更高性能的并行 NFS(pNFS)的概念。 要支持更高的可扩展性,NFSv4.1 具有脚本,与集群化文件系统风格类似的拆分数据/元数据架构。如 图 4 所展示的,pNFS 将生态系统拆分为三个部分:客户端、服务器和存储。您可看到存在两个路径:一个用于数据,另一个用于控制。pNFS 将数据布局与数据本身拆分,允许双路径架构。当客户想要访问文件时,服务器以布局响应。布局描述了文件到存储设备的映射。当客户端具有布局时,它能够直接访问存储,而不必通过服务器(这实现了更大的灵活性和更优的性能)。当客户端完成文件操作时,它会提交数据(变更)和布局。如果需要,服务器能够请求从客户端返回布局。

NFS 实施多个新协议操作来支持这一行为。LayoutGet 和 LayoutReturn 分别从服务器获取发布和布局,而 LayoutCommit 将来自客户端的数据提交到存储库,以便于其他用户使用。服务器采用 LayoutRecall 从客户端回调布局。布局跨多个存储设备展开,来支持并行访问和更高的性能。图 4. NFSv4.1 的 pNFS 架构

数据和元数据都存储在存储区域中。客户端可能执行直接 I/O ,给出布局的回执,而 NFSv4.1 服务器处理元数据管理和存储。虽然这一行为不一定是新的,pNFS 增加功能来支持对存储的多访问方法。当前,pNFS 支持采用基于块的协议(光纤通道),基于对象的协议,和 NFS 本身(甚至以非 pNFS 形式)。

通过 2010 年 9 月发布的对 NFSv2 的请求,继续开展 NFS 工作。其中以新的提升定位了虚拟环境中存储的变化。例如,数据复制与在虚拟机环境中非常类似(很多操作系统读取/写入和缓存相同的数据)。由于这一原因,存储系统从整体上理解复制发生在哪里是很可取的。这将在客户端保留缓存空间,并在存储端保存容量。NFSv4.2 建议用共享块来处理这一问题。因为存储系统已经开始在后端集成处理功能,所以服务器端复制被引入,当服务器可以高效地在存储后端自己解决数据复制时,就能减轻内部存储网络的负荷。其他创新出现了,包括针对 flash 存储的子文件缓存,以及针对 I/O 的客户端提示 (潜在地采用 mapadvise 作为路径)。